王安石变法自推行以来就受到了各方的阻力,1074年,天下大旱,颗粒无收,饥民遍野,流离失所,反对变法的大臣们纷纷上书弹劾新法,上书是免行钱造成的这种局面。神宗左右为难,信心动摇,欲打算废除不好的法令。但是王安石认为这属于天灾是难以避免的,天灾不可避,但是我们能后天处理和维护,派人治理方可解决。反对派们不仅上书反对甚至还绘制流民旱灾困苦图给神宗看,为新法的过失提供了强有力的证据,并且要求罢免王安石。
敌对关系正是紧张时刻,两位太后也出来干预朝政,认为王安石乱了整个天下。神宗心中动摇,于是罢免了王安石的宰相之位,让其当吏部尚书。被罢免后的王安石为了新法能继续推行,就推荐了新法的拥护者吕慧卿和韩绛在朝中任要职,没想到吕慧卿掌权后,对王安石下手,在韩绛的帮助下,王安石再次回朝。
王安石第二次罢相:1075年,王安石再次当上宰相,但是王安石的变法依然受到多方阻碍,内部矛盾加外部因素,变法失败不能在推行。一年后,王安石就以生病为由,辞去宰相之位。先后任职左仆射,同平章事等职位。