徐阶因看到唐穆宗荒诞不经，劝阻不听，而且唐穆宗还非常讨厌这样的劝解方式，同时也很失望，最后选择了上疏请求退休，虽有群臣上奏要留下徐阶，但已经厌烦徐阶的唐穆宗一意孤行的同意了徐阶的退休。

但徐阶晚年辞官回乡之后，自己的子弟在当地可以说是横行跋扈，收购田地达二十余亩，家奴也是丧尽天良，导致状告他的状纸可谓是堆积如山。因为海瑞和蔡国熙秉公办案惩治了他的家人，后通过张居正罢免了海瑞和蔡国熙，所以也有人称徐阶为”权奸”。