饱读诗书，从书斋昂昂然走出的刘伯温，儒家知识分子那种“修身齐家治国平天下”的抱负几乎与生俱来，但他在江西做了五年的小官，最后只能抑郁求退。按照史书的记载，他在江西，“政严而有惠爱，小民自以为得慈父”，想来颇有政绩，但“豪右数欲陷之”，意思是地方上的豪强贵族处处和他作对，最后只好离去，于1340年回到家乡。江西短暂的五年仕宦经历，并未使刘伯温对元政权完全失望，这之后，他又谋到了一个江浙儒学副提举的官职，这是负责地方教育事务的一个岗位，仅比县丞的正八品高一等，属于从七品。志大才高的刘基对此当然也无法满意，好歹干到至正十二年(1352年)，他辞职了。辞职的理由是身体不好，后人于此有所争论，不过不论刘伯温当时是否真在患病，他对元政权的灰心，却是越来越明显地表露了出来。这从他辞职后所著的那本名著《郁离子》中即可看出。

　　元至正十九年十一月，朱元璋的部队攻占了浙江处州(今浙江丽水)，因为在故乡的声望，刘伯温和另外三个当地著名知识分子—叶琛、宋濂、章溢，一起被朱的兵士送到应天(今南京)去见朱元璋。《明史》记载了这四人与朱元璋见面的场景：“太祖劳基等曰：‘我为天下屈四先生，今天下纷纷，何时定乎?’”朱元璋表现出了礼贤下士的态度，向他们请教如何统一和安定天下，章溢回答说：“天道无常，惟德是辅，惟不嗜杀人者能一之耳。”意思是只要朱元璋保民安民，就能收拾人心，完成霸业。

　　刘伯温从此开始了为朱元璋充当谋臣的人生新路。

　　作为深受儒家文化洗礼的刘伯温，这么快就倒向一个传统观念中的“乱臣贼子”，其中当然有多层因素的作用。史籍中流传一个“西湖望云”的故事，说刘伯温早在投朱之前就发现金陵(即南京)有所谓“天子气”，所以决心“辅之”。这无疑是无稽之谈。刘伯温之投效朱元璋，首先自然缘于对元政权的失望;其次，此时朱元璋的一些作为契合刘伯温的期待—朱元璋部队的军纪相对较好，朱元璋本人比较能够礼贤下士，朱元璋表现出了强烈的统一天下的愿望，这些都是他区别于其他群雄，而对刘基这样知识分子具备吸引力的地方。除此之外，还有两点非常重要：一是朱元璋打出了民族牌，以驱除异族政权为号召;二是此时的朱元璋已经意识到，要想统一天下，一味的大破坏是不行的，还必须着手于建设，而要进行建设的工作，又必须依靠缙绅阶层，尽可能维护他们的利益。

　　早在刘伯温辞官隐居期间，他就在《郁离子》中说，要“稽考先王之典，商度救时之政，明法度，肄礼乐，以待王者之兴”。而此时的朱元璋，颇有一些“明法度，肄礼乐”的气象，他成为刘伯温心目中正在兴起的“王者”，不是一种很自然的事情吗?

　　关于刘伯温在朱元璋打天下过程中的作用，虽然不像传说中那样神奇，但他和其他知识分子一起，帮助朱元璋在乱世中恢复秩序，是值得历史肯定的。

　　朱元璋统一天下，刘伯温和其他开国功臣一样得到了封赏，这似乎实现了他的人生抱负，但作为儒家知识分子，新朝的肇建又使刘伯温自觉背负了一种新的使命，这就是“导君于正”，使新皇帝符合儒家的政治文化传统。而就是在这方面，刘伯温开始品尝苦涩的滋味，因为在朱元璋这样的雄主手下讨生活，实在不是一件容易的事情。

　　刘伯温入明后活了七年有半，在这不算长的时间里，他先后几次受封，又几次被打发回乡。从他第一次被斥退的经历中，可以看出“伴君”确实是一件危险系数极高的工作。当时南京从夏天到秋天一直没有下雨，求雨也没有效果，刘伯温借机指出了三条弊政：一是阵亡将士的妻子数万人都被迫住在“寡妇营”，不许外出;二是为营建工程的工人死亡，尸体暴露不收;三是敌方头目既然已经归诚投降，就不适宜充军。古人认为天象由人事决定，刘伯温借求雨的机会进谏，使朱元璋只好同意其请，可过了十来天仍未降雨，朱元璋立即作出了“刘基还乡为民”的处罚。但刘伯温被免职仅三个月，朱元璋又想起了他，令他火速从家乡赴南京，恢复了其官职。而到了洪武四年(1371年)，他在得到封爵之后，再一次被赐归。