不过，卫青和李广也有联手抗击匈奴的时候，那就是公元前119年漠北之战中，卫青和李广各自率兵对抗匈奴。李广时年已经六十多岁，为了建功立业封侯，请求汉武帝让他带兵出征。汉武帝拗不过李广，便让李广跟随卫青作战，但是为了保险起见，汉武帝让卫青不能任用李广为主将。到了漠北之后，李广一心想要做前锋攻打单于，但是卫青下军令不让李广自身率兵前往。随后。李广不听卫青调令，擅自率兵出击，但在路途中迷路。后来，卫青想给汉武帝上书汇报战况，李广认为自己年老没用，遂拔剑自杀。于是，李广儿子李敢认为父亲之死与卫青有着紧密的联系，此后李家便与卫家势不两立。