在太子第一次被废后，朝中还有希望继承皇位的就是四阿哥和八阿哥。因此当时朝中很明显的分成三派，四阿哥党，八阿哥党，太子党。舜安颜和祖父佟国维就是坚决反对太子，支持八阿哥的。但是舜安颜的叔父隆科多是坚定的支持四阿哥的。温宪公主更是不用说了，他是雍正帝唯一的亲妹妹。

正是由于这么多复杂的原因，温宪公主与舜安颜的感情也不怎么样。就算温宪公主没有想要帮助哥哥的心，但是舜安颜是摆明了反对四阿哥的，他对妻子温宪公主应该是不会付出真心。二人之间相互猜忌，相互防范，这样的日子肯定不太舒服。于是原来就体弱的温宪公主身体更加孱弱了。

后来雍正帝登基后，自然要清除当年与自己作对的人。于是舜安颜被削掉了额驸的爵位，禁锢在家。尽管后来有短暂的起复，但是再也不是当年那个意气风发的少年了。