1364年，常遇春率领兵团和徐达军队汇合，先攻克了庐州，后又占领了江西等地，因为常遇春和徐达战功显赫，朱元璋将常遇春封为副将军，徐达为大将军，并下令俩人带领二十万明军去东边讨伐张士诚军队。在朱元璋的计划下，徐达和常遇春先后攻克了杭州等地，并且将张士诚的部下进行了围剿。张士诚孤立无援的镇守苏州，在常遇春和徐达的持久战下，张士诚守城失败而亡，朱元璋得此消息后，嘉奖了常遇春，封他为鄂国公。1367年，朱元璋率领徐达和常遇春进行北伐战争，常遇春率领他的兵团誓死奋战，用了三个多月时间，山东等地已被平定。元军在北方的实力已经大大地削弱了，明军的战斗力势如破竹，常遇春率领兵团单枪匹马在洛水北面击溃了元军主力，后人称为塔尔湾大捷。常遇春兵团在这一大战中，立下汗马功劳，为明军攻打元大都做出了重要的贡献。

常遇春身为朱元璋的得力助手，在讨伐元军上屡建奇功，为朱元璋建立明朝政权提供了强有力的军事保障。常遇春去世后，朱元璋追封他为开平王，以示奖励。