其次，来自文人的指责和辱骂。文人需要赢得名声谋取官位，除了自己写出一首好诗、好文章之外，还有一个方式就是批评恶人来树立自己正义的形象，而严嵩是一个不错的对象。儿子啊众多骂严嵩的文人里，骂得最凶的是王世贞，他为严嵩写的传记里对他极尽指责，此外据说以严嵩儿子严世蕃为原型的小说《金瓶梅》也是出自他手。

然后，来自清朝朝廷的贬低。清朝刚建立，汉族对满族统治的反感还很深。清廷为了使汉族文人士大夫服从统治，一方面大兴文字狱，另一方面就是寻求与他们的相似处。为了减轻抵触，清廷就拿明朝来说事，把严嵩定性为奸臣加以贬责。

最后，来自百姓的不知情。严嵩的故事和小说在民间各种流传，然后又被改编成戏文搬上舞台，不明2真相的百姓听着故事看着戏剧，里面严嵩奸臣形象也慢慢就深入人心。