此后，单氏举族出逃，逃至潞州后，便购置庄园田地，隐居了下来。这里就成了后来为后人熟知的二贤庄。

然而，单李两家的恩怨却并非到此为止。

在单雄信之上，有一位兄长，名叫单雄忠。隋朝统一南北之后，李渊受封太原太守。他在上任途中遭遇截杀，最后受人所救，并且在最后奋起反追，杀退来袭之人。在人困马乏后，便选择休息片刻。就在此时，恰巧单雄忠策马而来。李渊误以为敌人再次来犯，便举箭射杀了前者。

此外，李渊还曾经奉命讨伐过瓦岗寨。还俘虏那里的家眷亲属。虽然他这次围剿，有被人算计陷害的原因。但最终还是被单雄信算在了前者头上。

新仇旧恨相加，单雄信自然恨极了李唐。只要让他碰到李氏族人，都恨不得杀之后快。李世民在讨伐王世充的过程中，就两次险些葬身在单雄信手下。

因此，在双方互相视彼此为仇家的情况下，且不论李唐方面作何感想，就单雄信这份倔强刚烈的性子，要他降服与李世民，是断然不可能的。这便是单雄信为何不肯降服于李世民的原因。