建安二年时，曹操率兵南征，张绣投入曹操麾下。但因为曹操纳了张济的遗孀，也就是张绣的婶婶为妻，因而张绣怀恨在心，曹操知道后想杀了张绣以除后患，但不料消息泄露，张绣先曹操之手偷袭了他，曹操惨败，大将典韦被张绣枪挑而亡，他的一个儿子也葬命于此。后来，曹操又起兵围剿张绣，张绣敌不过曹操，被迫退回穰城，进而与刘表联合，共敌曹操。

从建安二年以后，曹操前前后后一共对张绣发动过三次讨伐，但因为在建安三年以后，张绣已经与刘表建立了较为深厚的合作关系，面对张绣手中握着的庞大兵力，曹操只能每一次都尽兴而来，失望而归。

建安四年时，曹操率兵攻打袁绍，两军交战于官渡。但彼此势均力敌，所以战况一直僵持不下，这时，能否争取到张绣就成了这场仗能否打赢的关键，曹操把握时机，在张绣犹豫不决时，让刘晔前来说服张绣，在赤裸裸的现实面前，张绣选择了投降曹操，张绣奋勇杀敌，为官渡之战的胜利立下了汗马功劳，因此此后也得到了曹操的重用。