而严嵩倒台的幕后主手是当时地位仅此于他的徐阶。徐阶之前一直隐忍多年，如今感受到嘉靖对严嵩态度的转变，就开始发动对严嵩的斗争。他把一位擅长扶乩的道士蓝道行引见给了迷信道教的嘉靖。而蓝道行有次扶乩时，得出的结果是“分宜父子，奸险弄权”，明确地把矛头指向严嵩父子。嘉靖问为何上天不诛杀他，道士回答说是留着由皇帝来正法。之后，在他人的弹劾以及徐阶的怂恿下，嘉靖罢黜了严嵩的官职，勒令他回家。

之后，严嵩的儿子严世蕃也在徐阶等人的预谋下，被弹劾入狱，第二年结案后，严世蕃被斩首，严嵩也抄家，彻底倒台。