后来成帝渐渐对飞燕疏远，众人皆不知其中原因。据野史记载，是因飞燕求子心切，竟企图通过与他人发生关系来得子。此事被成帝知晓了，成帝自然是不能容忍自己被戴了绿帽子，本要杀了飞燕，后来在合德的哀求下，这才饶了其一命，成帝后来宠合德便多于飞燕了。可飞燕经过了此事后仍不知收敛，还经常召见自己所谓的“哥哥弟弟”，还与一名为燕赤凤的男子有了私情。不料合德竟与自己的姐姐一样喜欢上了燕赤凤，两人差点为此人起了争执，可在旁人的劝说下，姐妹两人和好如初，只是燕赤凤却死在了姐妹两人派去的人的手中。

赵家姐妹因自己无后，便多次下手除去宫内的其他皇子，成帝对此并无多加过问，这让姐妹俩更加肆无忌惮。

成帝甚至为了显示自己的能力，服用了过量的春药，死在了合德的床上。合德自知自己难逃罪责，也自尽随成帝而去。六年之后，飞燕被贬为平民，因受不了耻辱，也自尽身亡。赵家姐妹离开了人世。而她们两个人的艳史却流传了下来。