在曹操忙于官渡之战之时，认为刘馥有才能，封为扬州刺史，让他去稳定东南地区。于是刘馥受曹操之命，将合肥空城建设成了一座地理位置重要且非常繁荣的合肥新城。那时合肥于曹军而言极为重要，是他们抵抗敌军的城垒。于东吴而言，合肥是他们北伐途中重要的一个据点。

208年发起了首次之战，当时曹操大败于赤壁之战，大军仍然停留在荆州北部，孙军进攻合肥。曹操得知后派张喜前去援助刘馥。数月之下合肥城久未攻下，最终在蒋济计谋之下，孙军撤退。

214年曹操留下七千多人在合肥防守。次年，曹操身在汉中，孙权出征合肥城。张辽打开曹操先前留下的密函，决定在孙军集结之前率先攻击他们，挫伤敌军势气，并且安定曹军之军心。孙军围攻合肥多日都未能攻城，身受创伤，最后潜行逃离。

233年和234年相继爆发了第三次第四次大战。第三次大战中孙权被满宠伏击，魏明帝参与第四次大战，孙权之侄被射杀，孙权亦撤退。

第五次大战发起于253年，诸葛恪率众将围攻合肥，魏将张特所守的城池即将沦陷，后因张特一计谋，使其未能攻下新城，无奈而归。

合肥之战中，可以看出曹操超群的军事才能，张辽的勇猛果断，对曹魏来说，都有重大战略意义。