杜衍的后人

　　长子杜诜，官至大理评事。

　　次子杜?，官至太常博士。

　　三子杜讷，官至将作监主簿，早卒。

　　四子杜诒，官至秘书省正字。

　　杜衍的故事

　　安于贫素

　　杜衍为政清廉，平时从不营殖私产，以至于致仕后，连几间像样的房子都没有，只好寄居在南京应天府（今河南商丘市）的回车院。宋代各地都建有回车院，有的作为官员卸任后等待接任者到来的临时住所，有的作为驿站，相当于官员招待所。杜衍在回车院一住就是十年，吃住简陋，却从无抱怨。杜衍不好酒，即便有客造访，也不过“粟饭一盂，杂以饼饵，他品不过两种”，简简单单，丝毫没有玉食笙歌的做派。

　　不事张扬

　　杜衍一向为人低调，致仕后的他，更是朴实如田夫野老，有人劝他着居士服，他却说：“老而退休，哪能以高士自居呀！”他或出游，或读书，或吟诗，还开始练习草书，追求精神的丰富，不追求物质的奢华，过着清贫自乐的生活。

　　然而，低调做人的他，在退休的日子里却发生了两件让人啼笑皆非的事情。

　　据宋代朱彧《萍洲可谈》记载，一次河南府（今河南洛阳市）举行宴会，杜衍应邀出席。酒席筵前，杜衍戴着居家便帽，穿着深色便装，端坐一隅，不作声响。

　　当时，有位本路的发运司管勾文字（官名）到。大家纷纷向他打招呼。运勾少年得志，见只有一位老头既不打躬又不作揖，像钉子一样钉在凳子上不动，不禁火冒三丈，厉声问：“足下前任甚处？”杜衍头也不抬，轻声回答：“同中书门下平章事（宰相）。”年轻的官员顿时面红耳赤，呆若木鸡。

　　还有一次，一位新科进士被朝廷安排到边关出任副职，路经应天府，知府王举正得知他才华出众，年少登科，估计前途无量，便把府里那些“牙兵、宝辔、旌钺”全部安排出来，为这位新贵禁卫开路。应天府的街道上顿时热闹了起来，只见彩旗飘飘，鼓声阵阵，场面盛大，引得老百姓侧目围观，纷纷猜测这是哪位朝廷要员来视察。

　　正好杜衍出门归来，与新贵的队伍狭路相逢，无路可避，杜衍便拉下帽檐，竖起衣领，放慢马步，靠边让路。两个仆人也拉住马，停于路旁。然而，新贵却因杜衍一行没有下马而十分恼怒，没好气地问身边的随从，这是谁呀？随从回答，这是已致仕的宰相杜太师。

　　须发早白

　　杜衍还未到四十岁，已须发尽白。清代陆以湉在《冷庐杂识》中将他与东晋大臣王彪之并列，认为“气血衰则须发易白，每于此征年祚焉”。