202年,袁绍愤恨而死,袁绍本欲立自己疼爱的后妻之子为继承人,但生前没来得及表态,于是众人打算立袁绍长子袁谭为继承人。此时袁绍本来的部下分为两派,郭图等人支持袁谭,而审配等人与之不合,审配唯恐袁谭即位后加害于他们,于是私改袁绍遗嘱,立袁尚继位。
而袁谭没能得以继位,于是其一众人驻扎在黎阳,袁谭自称车骑将军。203年,曹操攻打黎阳,袁谭向袁尚求援未成,袁谭大怒,在郭图等人的煽风点火下,袁谭起兵进攻袁尚。两兄弟交战于城门外,最终袁谭兵败而退,遂联合曹操攻打袁尚,但是不久后袁谭便叛变了。
204年十二月,曹操领军将袁谭重重围困于南皮。次年一月,曹操猛军急攻,南皮沦陷,袁谭在逃亡中被曹操部下最精锐的虎豹骑部队杀害,曹军进城后,将郭图等人也一并杀害。