432年，檀道济因屡屡立下大功而被加官进爵，后来又奉命前往寻阳镇守。436年，宋文帝病重，刘义康执掌朝政大权。他一直忌惮檀道济在朝廷中的声望，担心有朝一日檀道济会谋反。所以在宋文帝身体每况日下之际，他决定先下手为强，矫诏将檀道济召回了京城。

檀道济的妻子在他临行前曾提醒过他，此次召他入京十分蹊跷，可惜檀道济不以为然，没有把妻子的话放在心上，就这么进京了。结果檀道济到了京城后，就被刘义康给抓了起来。刘义康看着围捕他的人，一把将头巾扔到了地上，大喊道：“你这是在坏掉万里长城啊！”之后，檀道济和他的儿子们，总共十一个人，以及檀道济的许多心腹，都被抓了起来，处死了。

北魏的将领听到檀道济的死讯后，高兴地大声呼喊：“檀道济死了，南方就没有什么能阻挡我们的人了！”

檀道济死后，失去万里长城守护的南宋在与北魏的交战中就处于被动地位了。北魏曾步步紧逼，南宋则节节败退，直到退守至长江北岸。两军隔岸对峙，宋文帝百感交集，这个时候的他是那么想念檀道济啊。可惜的是，檀道济再也无法像万里长城那样守卫南宋，因为那个时候他已经冤死了十四年之久了。