宋高宗的母亲韦氏画像

虽然韦氏先后升为平昌郡君、婕妤、婉容，但是她并不受宋徽宗宠爱，她的儿子赵构也不得宋徽宗的喜爱，直到金朝向宋朝要求宋徽宗的儿子到金做质子时，赵构自愿前往，韦氏才得以被宋徽宗封为龙德宫贤妃。

在世人口中有个关于宋高宗的母亲韦氏的传闻，传闻韦氏在被金兵抓为俘虏之后，曾被金兵当作战利品押送到北方，送入洗衣院，相当于妓院的地方，被金人当作了慰安妇，甚至还被迫嫁给了盖天大王为妾，给宋高宗赵构生了两个异父的兄弟。在赵构建立南宋的时候，金人还曾编写了关于韦氏的“秽书”传播于中原街市，为的就是借此侮辱赵构。

据说，宋高宗之所以杀岳飞，其中也有他母亲韦氏的原因。根据史书记载，公元1141年，当时宋高宗的母亲韦氏被扣押在金国做俘虏。有人认为当时金国派人来宋朝议和的时候，宋高宗提出了让金国放了他的母亲的议和条件，而金国也一定提出了相应条件，那个条件就是杀了岳飞，就放了他的母亲韦氏。并且历史事实就是宋高宗在与金国议和一年后，杀了岳飞。