刘基回到老家后，本想好好养老，过一过清闲的日子，可哪成想，朱元璋又把他想起来了。刘基走之前，曾给朱元璋提出了几点忠告，其中有一条，是让朱元璋集中力量消灭蒙元的残余势力。但江山在握、志得意满的朱元璋，当时没能重视刘基的这条建议，结果逃回大漠的蒙元残部成了北部边疆的大患。

　　朱元璋这才意识到刘基是不可缺少的;加上对李善长的逐渐失望，便又想起刘基的好来，便给刘基手书一封，书中写道，爱卿啊，你告假这么久了还没回来，我非常想念你啊!现在天下已经统一了，你应当马上回来，我们共同开创大明王朝的千秋伟业!我说的这番话，都是出自诚心啊!

　　刘基接到此书后，自然感激涕零，立即启程回到京师，以报答圣上的知遇之恩。这时朱元璋对李善长已是很不满，打算撤掉李善长，以刘基取而代之。

　　但刘基却很清醒，在当时淮西集团当权的情况下，他自己即使当了宰相，也无力和那些人抗衡，所以便坚辞不受，力劝朱元璋继续任用李善长为相，说李善长善于调和各部官员;说如果房屋想换顶梁柱的话，也得找棵大树换，我这根小树是支撑不起的。朱元璋见刘基态度很坚决，只好作罢。

　　就这样，刘基重新回到了权力中枢，再次成为了朱元璋的肱骨之臣。但他没有志得意满，而时刻提醒着自己要找机会急流勇退。这样一直干到洪武四年，见天下下局势已经稳定，而且汪文洋、胡惟庸之流进入了权力中心，担心将来自己会遭到他们的陷害，便又萌生了退隐的念头，于是再次向朱元璋辞行。朱元璋挽留了一番，但刘基的态度很坚定，朱元璋只好同意了。

　　刘基第二次返回老家，这一次，他是真打算彻底退休，不再过问任何官场中的恩怨是非，只想流连于山水之间，饮酒谈诗，著书论文，“朝入青山暮泛湖”，做一个自在达人。

　　有一些人仰慕刘基的大名，便前来拜见，可刘基总是想方设法拒绝。刘基的这种做法，是一种明智之举，虽然自己已经回了老家，成了一个地地道道的草民，但生性多疑的朱元璋是不会放心自己的，自己如果不避嫌，今天接见这个人、明天接见那个人，就会给人结党营私之嫌，那样一来，灾祸就不远了。

　　按理说，像刘基这样处处小心谨慎，每日战战兢兢、如履薄冰地过日子，应该不会有什么危险了吧?可是，尽管如此，刘基也没能躲过灾祸，因为有人还惦记着他，这个人不是别人，就是中国历史上最后一个宰相胡惟庸。

　　胡惟庸之所以对刘基耿耿于怀，缘于朱元璋同刘基的一次对话，那一次，朱元璋和刘基探讨宰相的人选问题，期间谈到了胡惟庸，朱元璋问：“胡惟庸这个人怎么样?”刘基见朱元璋问起了胡惟庸，立即面露不屑的神情，说：“此小犊，将偾辕而破犁。”意思是说，胡惟庸只是一个小牛犊子，给他这样的重担，会坏了陛下的事的。

　　胡惟庸因此就对刘基恨之入骨，处心积虑地想找个机会报复刘基。便暗中指使亲信诬陷刘基，说刘基在一块有“王气”的土地上为自己建造坟墓，有不臣之心。朱元璋接到这份弹劾后，立即下旨，免去了刘基的退休金;刘基一看大势不妙，立即进京请罪，并留在了京城，想解除朱元璋对自己的疑心。但朱元璋的态度却并不明朗，既不治罪于刘基，也不安慰他，来了个不予理睬。刘基因此忧心忡忡，大病不起，朱元璋闻讯，便派人将他送回了老家，一个月以后，刘基死去了。

　　关于刘基的死因，有一种说法，说刘基是被胡惟庸毒死的，刘基死后的第四年，御史中丞涂节上书揭发，说刘基重病在床时，胡惟庸曾派心腹医生前往探视，给开了一副药，刘基服用后，病情加重，回到老家一个月后即死去。