当时，李靖胸怀大志，渴望得到机会建功立业，于是前来拜访杨素。不过杨素年事已高，野心和抱负都已被岁月消磨，所以这次交谈让李靖十分失望。而作为侍女的红拂女，在一旁却对器宇轩昂的李靖一见钟情，于是派人跟踪李靖，自己在半夜前去找他。红拂女向李靖说明了爱意并表示自己愿意一生追随与他，李靖十分感动，两人便趁机私奔了。这就是民间传说的“红拂夜奔”的故事。

私奔路上，李靖与红拂女遇到了虬髯客，三人志趣相投于是结拜，成为“风尘三侠”。后来，李靖拜见李渊，与李世民相谈甚欢，两人都觉相见恨晚。因此，李靖就投于李世民门下，后来为唐朝建下赫赫战功，而红拂女也一直陪伴丈夫身边，被封为一品夫人。

因为杨素就是隋朝南下灭陈的主要将领之一，所以杨素除了是红拂女的主人，也可以说是她的杀父仇人。