李渊以刘武周和突厥南下为由，招兵买马扩充军队实力。偷偷派遣李世民、刘文静等人在各地招募兵马以扩充军队战斗力。没过多久，就有很多人响应，纷纷加入李渊队伍。当时，李渊招兵买马这一行为引起了王威等人的怀疑，他们认为李渊这一举动是想要造反。王威等人想将李渊父子骗往晋祠，以此除掉李渊父子，向隋炀帝邀功行赏。结果，他们的计划被晋阳乡长刘世龙所了解了，他便告诉了李渊。李渊和李世民决定先下手为强，他们污蔑告发王威和高君雅勾结突厥，想要让突厥族人攻打中原。随后，恰逢突厥兵进攻晋阳，李渊将俩人斩首示众。

经过一系列的准备工作，公元617年农历七月份，李渊在晋阳正式起兵。李渊起兵后面临着兵力不足的问题，三女儿平阳公主得知后，变卖了李家庄园，为父亲招兵七万多人。