谢灵运，原籍陈郡阳夏（今河南太康），出生于会稽始宁（今浙江上虞），育于钱塘（今杭州）杜明师道馆，直到十五岁时谢灵运才由钱塘接回建康（今南京），住在朱雀桥边的乌衣巷内，因此巷人都叫谢灵运“客儿”，人称“谢客”。

谢灵运出身于名门望族，祖父谢玄是东晋名将，在淝水之战中和叔父谢石、族弟谢琰一起，以八万人马大破前秦苻坚号称的百万大军。维护了东晋偏安局面，被封为康乐县公。父亲谢瑛袭爵任秘书郎，母亲是东晋名书法家王献之外甥女。其祖辈、父辈亲族中为显爵大官者甚多。

显赫家世及优裕生活使谢灵运自幼有一个良好的受教机会，但性格高傲、任性、不受拘束，萌下日后受害祸根。由于其父早逝，其十八岁即承袭“康乐公”爵号，食邑两千户，世称“谢康乐”。

二十岁时，即晋安帝义熙元年（405），开始踏上仕途。因生当乱世，其在政治风波中亦难免经受颠簸。初任琅王大司马行参军，次年转为抚军将军刘毅的记室参军。义熙七年（411），刘毅反对刘裕兵败自杀，谢混也被诛杀。

谢混乃谢安之孙，谢灵运族叔。刘裕没有深究谢灵运与他们之间的关系，反而起用他为大尉参军（时刘裕官居太尉），次年改为秘书丞，但不久即被免官，赋闲三年。义熙十二年（416），再度出仕，为骠骑将军刘道怜的谘议参军，转中书侍郎，后为世子中军谘议、黄门侍郎。十四年，任相国从事中郎。

元熙元年（419），谢家有一门人与灵运小妾通奸，灵运使人杀于水边，为王弘所弹劾，再次免官。元熙二年，刘裕取代东晋，正式即位皇帝，改国号为宋，改元“永初”，下诏一律废除晋代封爵，只对王导、谢安、温峤、陶侃、谢玄五家例外，但爵位下降一级，食邑减少，谢灵运亦由公爵降为“康乐县侯”，食邑500户。

永初三年（422），宋武帝刘裕驾崩，太子义符即位，称少帝，仅十七岁。傅亮为中监尚书今，谢晦为中书今，徐羡之为司空、录尚书事；该几人擅权独行，独揽朝纲。少帝非帝王之才，不久即被废。按封建宗法规定，应由刘裕次子庐陵王义真继位，但权臣们却拥戴刘裕三子义隆。

庐陵王义真，聪明、爱文士，在其门下知名人士有谢灵运、颜延之和慧琳（高僧）等。徐羡之等权臣为剪除庐陵王羽翼，当武帝刘裕病重时，即策划下诏，把义真调离京城，继而以“构扇异同，非毁执政”贬谢灵运为永嘉郡太守，任颜延之为始安（今广西桂林）太守，慧琳也被逼离建康。

随后于景平二年（424）即废少帝义符。不久，义符、义真均遭杀害。义隆登基后，称宋文帝，改元“元嘉”。到元嘉三年，文帝地位已固，就断然诛杀擅权专政的徐羡之、傅亮、谢晦等人。谢灵运被召至京为秘书监，寻迁诗中，颇受宠遇。但始终是个侍从文臣，不久又托病回始宁过隐居生活。

元嘉八年（431），灵运请求把会稽郡东郭的回踵湖与始宁的岯崲湖之水排掉，以开垦造田。会稽太守孟顗不同意，谢灵运指责孟顗不为利民着想，而是自己信佛戒杀生，怕湖中鱼虾丧失才反对垦田。并嘲笑他说：“得道靠的是天性聪慧，你虽然生在我前，成佛必在我后。”

孟深恨之，状告其有“异志”，灵运连夜赴京申辨，文帝不予追究，将其留于建康。半年之内，编定64583卷“四部书”目录，并和名僧慧严、慧观等共同润饰昙无谶译的《大般涅槃经》。旋出任临川（今江西抚州市西）内史。在临川他依然纵游无度，为有司所纠。九年，司徒刘义康竟遣使去收捕他，谢灵运无法忍受耻辱，调兵拒捕，于是降死一等，流放广州。十年，被诬参与农民谋反活动，在广州被杀，时年49岁。