建安七年（202年），袁绍病死，袁绍的两个儿子袁谭、袁尚不和，发生火并。袁谭不敌袁尚，向曹操乞降。

建安九年（204年）二月，曹操乘袁尚出兵攻打袁谭之机，进军围攻邺城（今河北邯郸临漳西一带）。袁尚率军回救，依滏水（今滏阳河）为营，曹操进军将其营寨包围。袁尚害怕，请求投降，曹操不许。袁尚乘夜逃跑，袁军溃散。袁尚逃奔中山（今河北定县）。曹操命人拿着缴获袁尚的印绶节钺招降邺城守军，城中斗志崩溃。邺城遂被曹操攻破。从这一年起，曹操把自己的据点北迁到了冀州邺城，政令军队此后皆从此出，而汉献帝的都城许县则只留些许官吏。

建安十年（205年）正月，曹操又以负约为名，攻灭袁谭，冀、青二州平定。于是，曹操上表让还兖州牧，改任冀州牧。袁尚兵败后，逃奔幽州刺史袁熙。不久，袁尚、袁熙又逃奔三郡乌桓。同年，黑山军首领张燕率领其部众十余万人投降曹操。

建安十一年（206年），曹操攻灭高干，平定并州。

建安十二年（207年），曹操为了肃清袁氏残余势力，也为了彻底解决三郡乌桓入塞为害问题，决定远征乌桓。汉末，辽西、辽东、右北平三郡乌桓结合，是为三郡乌桓，其首领为辽西部的蹋顿。三郡乌桓与袁氏关系一直很好，并屡次侵扰边境，掳掠人口财物。

五月，曹操亲率大军到达无终（今蓟县）。时正雨季，道路积水，“浅不通车马，深不载舟船”。曹操从无终人田畴之议，改从一条久已断绝，但“尚有微径可寻”的路线进军。在田畴的引导下，曹操大军登徐无山（今河北玉田北），出卢龙塞（今河北喜峰口附近），“堑山堙谷五百余里”，直指乌桓老巢柳城（今辽宁朝阳南）。

八月，曹军进至离柳城不足二百里时，乌桓才发现，于是蹋顿与袁尚、袁熙等人率数万骑兵迎击。二军相遇，时乌桓军军势甚盛，而曹军则是“车重在后，被甲者少，左右皆惧”，唯独张辽力劝曹操迎战。曹操登高瞭望，见乌桓军虽多，但阵势尚未摆好，遂命将自己的持麾授予张辽暂用。张辽指挥先锋部队，乘乌桓军阵稍动之机，向乌桓军发动猛攻。乌桓军大败，死者被野。乌桓单于蹋顿也被临阵斩杀。曹军在白狼山之战中，大获全胜，胡、汉降者二十余万。

袁尚等人逃奔割据平州的公孙康。这时，有人劝曹操乘势进击公孙康，曹操说：“吾方使康斩送尚、熙首，不烦兵也。”遂率军还师。不久，公孙康果然斩杀袁尚、袁熙，并将其首级献与曹操。诸将不明所以，曹操说：“彼素畏尚等，吾急之则并力，缓之则自相图，其势然也。”于是，曹操攻破三郡乌桓，也彻底肃清了袁氏势力。

十一月至易水，代郡乌丸行单于普富卢、上郡乌丸行单于那楼将其名王来贺。同年郭嘉因水土不服、气候恶劣、日夜急行操劳过度，在曹操北归前病逝。归程途中，据《曹瞒传》记载：“时寒且旱，二百里无复水，军又乏食，杀马数千匹以为粮，凿地入三十余丈乃得水。既还，科问前谏者，众莫知其故，人人皆惧。公皆厚赏之，曰：‘孤前行，乘危以徼幸，虽得之，天所佐也，故不可以为常。诸君之谏，万安之计，是以相赏，后勿难言之。’”