韦贵妃出身于将门世家，她的曾祖父叫韦孝宽，是北周太傅，据说还是非常著名的军事家，老当益壮，七十多岁高龄时还能骑马率军驰骋疆场。父亲和祖父也都是高官，她的第一任丈夫是隋朝户部尚书李子雄的儿子李珉，可见如果她只是一位平民之女，按照门当户对的说法，她不可能嫁给户部尚书的儿子。只可惜李子雄父子命薄，他们在隋朝末年跟随杨玄感，杨玄感是起兵谋反的主谋人之一，但是谋略不足，结果兵败，李子雄父子也被杀，韦氏就成了寡妇。

　　第一任丈夫李珉死后，韦氏就来到东都洛阳，开始她的寡居生活。当时的洛阳被王世充占据，李世民带兵攻打，却久攻不破，只好将洛阳城围困起来，打持久战。后来李世民终于让王世充投降，将洛阳占据，也是这一次拿下洛阳之后认识韦氏的。