后来，郭圣通的舅父刘杨因谋反而被杀，势力被吞并，加上其年长色衰而失宠。建武十七年(41)以“怀势怨恨，对违数令，不能抚循他子，训长异室”为由，将其废掉。十一年(即公元52年)后，郭圣通孤寂的死去。