裴柔嫁与杨国忠，伴随着杨国忠的地位上升，越发的看不起裴柔了。期间杨国忠在外当官两年，并未将裴柔接至一处，相当于这期间裴柔一直处于守活寡的状态，裴柔本来为娼，压根是受不了这份情苦的，所以野史中曾传裴柔背着杨国忠偷汉子，并且生下了不属于杨国忠的孩子，这点究竟如何，我们有待于考察认证。

但，自从杨国忠与虢国夫人开始偷情后，她的处境确实是一落千丈，非常凄苦。杨国忠看他越发不顺眼，稍不如意便打骂相加，裴柔只能守着孩子过日子，最终却逃不过被杨国忠牵累至死的凄惨命运。