敌对关系正是紧张时刻，两位太后也出来干预朝政，认为王安石乱了整个天下。神宗心中动摇，于是罢免了王安石的宰相之位，让其当吏部尚书。被罢免后的王安石为了新法能继续推行，就推荐了新法的拥护者吕慧卿和韩绛在朝中任要职，没想到吕慧卿掌权后，对王安石下手，在韩绛的帮助下，王安石再次回朝。

王安石第二次罢相：1075年，王安石再次当上宰相，但是王安石的变法依然受到多方阻碍，内部矛盾加外部因素，变法失败不能在推行。一年后，王安石就以生病为由，辞去宰相之位。先后任职左仆射，同平章事等职位。