215年,曹操遣薛悌前往合肥,给驻守在合肥的张辽等人送上一函。由于曹操身在汉中,距离合肥甚远,果不其然不久之后孙权便率领着十万大军出征合肥,志在必得。张辽拆开此函,明白了曹操的用意,认为在兵力处于极大劣势之时,应该乘着吴军尚未集结完毕之前,攻其不备,一来扰乱敌方军心,二来稳定我军军心。而且此战势在必行,敌我双方实力悬殊太大,倘若等待援军,时日太久遥遥无期,军心肯定不稳,等到日后双方正式正面交锋,几乎没有取胜的希望。
靠着身先士卒不回头的信念,次日便与八百名壮士突击吴军,借着必胜和必死的心态,英勇无畏的战斗力,立斩数名干将,致使孙权方寸大乱。将张辽包围数次,他都成功突围,无人敢抵挡张辽。之后吴军势气大减,攻打合肥数日依旧攻打不下,撤退之时张辽乘胜追击,若不是得到凌统等人的救助,孙权也难以脱逃。
合肥之战使张辽威震四方,也让曹操更加赞赏张辽。数年之后孙权对张辽仍然心存余悸。
220年,曹操去世之后,曹丕称帝,加封张辽为晋阳侯,对张辽非常之看重。张辽最终在江都病逝,曹丕伤心流涕,后命其子张虎承其父爵。