1375年，刘基虽然不擅长做事情，但仍像北京所有官员一样参加了元旦清晨会议。后来，他在奉天堂创作了一首《茅毅随造潮》。虽然这是葛功所写的一种娱乐，但刘基的心情仍然可以在诗中看到。据说，正月中旬，宋濂大师刘刚来到刘基的住处，请刘伯温将宋濂的100多卷着作编辑成一本最好看的书。刘基也被要求为新书写一篇序言。他毫不犹豫地同意了。第一个月的下半年，刘基染上了感冒。朱元璋知道了这件事，就派胡去见太医。帝国医生开了药。他按照清单服药，然后回来煎药。他觉得好像有一些不平整的石头在他的胃里挤在一起，给他造成了巨大的痛苦。

二月中旬，刘基拜见朱元璋，婉转地告诉他说，胡请太医来看他，他吃了太医开的药，身体更不好了。朱元璋听了之后，只说了一些安慰的话来缓解病情，这使刘基十分心寒。三月下旬，刘伯温，已经无法自由行动，由刘联陪同，朱元璋的特遣部队护送，离开首都回家。回家后，他拒绝了亲戚和村子给他找到的所有药石，只是尽可能保持正常饮食。

几天后，刘基知道没什么可来了，便找了两个儿子来为他的葬礼作解释。完了，他让刘联从书房里拿来一份每日文书，对他说:“我死后，你必须立即把这本书交给皇帝，不要耽搁。从今以后，不要让我们刘家的子孙学到这种知识。”他还对他的第二个儿子刘贵说:“执政的要点是灵活和僵化相结合。法院现在必须做的是尽可能培养道德，而法律应该尽可能简短。如果执政者能够以身作则，用道德影响群众，效果会比惩罚好，影响会更深远。如果下属或群众犯了错误，他们会更能以一颗善良的心去设身处地为他人着想，所决定的惩罚一定会达到公平地为人民服务的目的，并提醒人民改变他们的方式。如果法律能够尽可能简短，使人民能够容易理解和遵守，那么人民就不会容易受到指责和混淆，政府的信誉和良好的仁爱形象就能够建立起来。这样，天堂会在我有生之年给予我更多的祝福。”

他接着说，“我想写一份详细的奏章给皇帝，给我最后的想法和教训，但胡还在，写也没用。可是，当胡被打败的时候，皇上一定会想起我，问你关于我的遗言。那你就把我的话秘密报告给皇帝。”他终于在农历四月十六日在家乡去世，享年65岁。六月，他在仲夏被埋在乡下。

1513年，朝廷授予他“太师”的称号，即文成的谥号。1531年，朝廷根据刑部大夫李煜的建议，再次讨论了刘基的功过，决定刘伯温与开国功臣许达共享祠堂。