当时，刘邦战败，仓皇逃命。在看到儿女之后，就让他们一起上了车。但是面对楚军的紧追不放，刘邦慌了，为了让马车可以再快一下，刘邦便将两个孩子推下马车。这时，跟在刘邦身边的夏侯婴于心不忍，就把孩子抱了上来。在经过了多次的推下抱上之后，刘邦终于发怒了。夏侯婴劝道：“哪怕情况再紧急，也不能把孩子仍下啊。更何况，两个孩子，能有多少的分量呢。”刘邦这才作罢。

也有人说，刘邦并不是真的要抛弃子女，这只是他在装腔作势，以达到笼络人心的目的罢了。

至于吕雉和刘父则是在途中被楚军所俘获，在楚军中做了两年多的人质。在之后的荥阳对峙后，由于楚军久战疲惫，在兵力上也不刘邦的对手，是项羽就以刘父和吕雉为要挟，迫使刘邦签署了鸿沟协议，两分天下。吕雉他们才得以回到刘邦的身边。