因此韩信也开始与边界的匈奴交战，但是交战的结果总是败多胜少，刘邦对此非常不满。公元前201年，冒顿单于亲自率领10万铁骑来攻，韩信因为兵力差距悬殊，只能派出使者向匈奴求和，这样的行为更是引起了刘邦的怀疑，觉得韩信勾结匈奴对汉朝不利，并且因此责备韩信。韩信深知刘邦为人，觉得自己会因此被杀，为了保命决定与匈奴合作一共攻打汉朝。这就是白登之围背景。在此之后刘邦率兵出征匈奴，因为轻敌冒进，陷入匈奴埋伏，被困在白登山。