谢玄同样也是个珍惜爱情，疼爱妻子的男人。谢玄的原配妻子是泰山的羊氏一族的人，他们二人之间的感情甚是笃厚真诚。曾经就有这样的佳话流传，说谢玄在外钓到了几条好鱼。关心爱护妻子的他就将鱼做成了鱼鲊，并且寄给了在远方的妻子。但是羊氏却没有好的命，后来早逝。

因为东晋害是个极为讲究门阀制度的朝代，所以当时影响朝政的几个大家族都会通过联姻的方式来达到利益巩固自己的地位。“书圣”王羲之，还有其子王献之的婚姻都是如此。所以谢玄也不例外，丧偶后的谢玄又续娶了谯国桓氏，还有刘氏、王氏。