杨素死后，杨玄感继承了楚国公爵位。因为杨家一门显赫，而杨广荒淫无道又时常猜忌他们，所以杨玄感开始打算废掉他，改立他人，被人劝告才罢手。

等到613年杨广第二次东征高丽，杨玄感被任命督运粮草。当时已是隋末，杨广的统治遭到了各地百姓的起义反对，于是他觉得时机成熟，趁机开始造反。杨玄感的谋士李密向他提出了上中下三条策略，他认为其中进攻洛阳的下策反而是最好的策略，于是率军围困洛阳。最后一直攻不下洛阳，加上隋朝援军赶到，杨玄感只好兵败撤退。

杨玄感一直被追杀到葭芦戍，知道难逃一死就让弟弟杨积善杀了自己。尸体最后被送到洛阳，暴尸三天后，再被切成一块一块，放火烧尽。之后，杨素家族都被株连杀光。