1960年5月2日，阎锡山腹泻，经过医生治疗得以康复。5月10日阎锡山气喘，医生诊断为感冒转气管炎，建议入院治疗。这时，台大医院内科主任蔡锡琴赶到，诊断为急性肺炎合并冠状动脉硬化性心脏病，病情已十分严重，但是阎锡山仍不愿住院。

　　1960年5月23日，阎锡山终于结束他“十年隐居，十年著作”的晚年生活，驾鹤西去，享年78岁。

　　阎锡山死于感冒引发的肺炎和心脏病。据侍从警卫副官张明山回忆，“那一天病已经很危险了，台大医院内科主任蔡医生上来也不行。‘阎院长’让我问医生还能不能去台北?医生同意了。我便用藤椅把‘院长’抬上汽车后座，我也坐上去双手抱着他。汽车转了几个弯，还没到山脚，我听到‘院长’喉咙里咕噜一声，口中溢出一股臭气。我心想坏了，大叫‘快停车，叫医生过来!’医生又是打针，又是人工呼吸，最后还是赶到了医院。其实路上就不行了。”

　　阎锡山死前，曾嘱其家属七点：

　　一、丧事宜俭不宜奢;

　　二、来宾送来的挽联可收，但不得收挽幛;

　　三、灵前供无花之花木;

　　四、死后早日出殡不作久停;

　　五、不要过于悲痛放声大哭;

　　六、墓碑上刻日记第100段和第128段;

　　七、七日之内每天早晚各读他的《补心灵》一遍。

　　夫人徐竹青遵嘱把他的日记打开，找到了第100段和第128段，见上面分别写着：

　　义以为之，礼以行之，逊以出之，信以诚之，为做事之顺道。多少好事，因礼不周，言不逊，信不孚，致生障碍者，比比皆是。

　　突如其来之事，必有隐情，惟隐情审真不易，审不真必吃其亏。但此等隐情，不会是道理，一定是利害，应根据对方的利害，就现求隐，即可判之。

　　徐竹青是阎锡山元配夫人，是离他家10里路的五台县大逢村人，年长阎锡山6岁。这门亲事是由阎锡山父亲所定。徐竹青跟阎锡山婚后没有生育过孩子。

　　阎锡山后来娶偏房徐兰森，山西大同人，生5子：长子阎志恭(少亡)，次子阎志宽(24岁病逝成都)，三子阎志信(幼夭)，四子阎志敏，五子阎志惠。徐兰森于1946年病逝于太原，终年48岁。

　　元配夫人徐竹青随阎锡山同往台湾，同住“菁山窑洞”。四子阎志敏、五子阎志惠则在美国。

　　阎锡山晚景凄凉，死后却热闹一番。在台湾，阎锡山算是“党国元老”，葬礼由何应钦主持，蒋介石亲临致哀，并送悼匾，上书“怆怀老勋”。黄少谷题“日星河岳”、孔德成题“勋望长昭”、郝柏村题“耆德之勋”，1500多人参加送葬。阎锡山之子阎志敏、阎志惠亦从美国回来奔丧。

　　“监察院”副院长张维翰所写挽联，概括了阎锡山的一生：

　　主政近四十年三晋人心思旧泽

　　遗书逾百万字中华国运展新图

　　据云，阎锡山曾经立下遗嘱，把他从大陆带来的黄金，依照“山西在台同乡会”的名册，分发每个大人一两、妇女小孩半两，足见阎锡山乡土观念之重。当然，这只是“据云”而已，是否确切，尚待考证。不过阎锡山携不少黄金到台湾，却是不争的事实。今日山西煤老板腰缠万贯，当年统治山西长达38年之久的阎锡山当然“腰缠万金”。所幸阎锡山到了台湾并不“露财”，只建“菁山窑洞”而已。倘若阎锡山在台北建造金碧辉煌的豪宅，过着招摇于市的生活，早就会被蒋介石“清除”。