379年，前秦攻陷襄阳后，谢玄带兵迎敌全歼了秦军。之后在383年的淝水之战中，谢玄也是东晋方面军队的先锋，与苻坚大军对峙和大战，最终大败前秦，赢得全面的胜利。战后东晋趁机北伐的先锋军也是有谢玄带领，为朝廷收复了不少失地。

可以说，谢玄在淝水之战中的功绩也就仅次于总指挥的谢安。战后没几年，叔侄俩都先后病逝，谢玄只比谢安晚上三年。