谢玄小时候被寄养在谢安的家中,幼时的他就已经是个聪明伶俐的人,理解能力极强。谢安对自己的子侄们的要求也是极为严格的,一日他就问他们将来要怎样做人才能够拥有美好的名声呢。一时间众人没法回答出来,谢玄就站出来说他要要像一株种在前庭的芝兰玉树。谢安听了很是高兴。
后来因为前秦强盛,所以东晋边境时常受到北方军队的侵扰。朝廷就下旨选出一个文采兼备,能够统领军队抵御外敌的人才来。谢安就敢于冒众怒,向朝廷推荐了他的侄子谢玄。这一结果出来的时候,就连和谢玄不和的郗超也是持肯定态度的,他认为谢玄亲率大军必能取胜。
谢玄征招了三个州的兵夫,并且加以严格的训练,个个都是能征善战的好手。在大战开始前,就连一个送信的田泓也是气节高尚,令死也将指令送达了。同前秦苻坚的军队的首战,谢玄就取得了胜利。无奈之下苻坚退回废水以北,依赖废水为天险,伺机攻克谢玄的部队。谢玄故施计策,告诉对面的苻坚让等他们渡过淝水后再战。苻坚打算先退兵,待到谢玄的军队渡过时,再将其赶到水中。没想到大军一退,全军就开始四处奔逃,溃不成军,谢玄乘机击败了一时猖狂的苻坚。