尉迟迥起兵反对杨坚的专政，杨素就是杨坚派去征讨的将领之一。581年，杨坚接受禅让登基为帝，建立了隋朝，杨素被升为了上柱国，并且参与了法律的修定。之后，杨素就不断为隋文帝杨坚四处征战，讨伐不臣：南下灭掉陈朝；剿灭江南匪患；大破北方突厥。此外，杨素还各种讨好杨坚，不惜劳民伤财，帮杨坚建造宫殿，帮皇后下葬。

不管是战功还是讨好，杨素的行为都深得杨坚之心，因此一路加官进爵，一路受到赏赐，一天比一天显贵。杨坚在世时，杨素最高官至尚书左仆射，爵位至越国公，而他的子嗣和家人也都官居高位。据说，杨素家的房子无比奢华，规模样式和皇宫差不多，童子就有几千，歌妓小妾也有上千。