杨素与杨坚本来都是北周的大臣。公元580年的时候，北周最后一位皇帝继位，杨坚被封为左丞相，朝政由其掌控。当时杨坚既有地位和声望，又有篡位称帝之心，于是杨素就主动投到他的门下。而杨素此时已经在灭亡北齐的战争中展现出杰出的军事才能，因此杨坚也十分需要并器重他，不久就封他为刺史。

尉迟迥起兵反对杨坚的专政，杨素就是杨坚派去征讨的将领之一。581年，杨坚接受禅让登基为帝，建立了隋朝，杨素被升为了上柱国，并且参与了法律的修定。之后，杨素就不断为隋文帝杨坚四处征战，讨伐不臣：南下灭掉陈朝；剿灭江南匪患；大破北方突厥。此外，杨素还各种讨好杨坚，不惜劳民伤财，帮杨坚建造宫殿，帮皇后下葬。

不管是战功还是讨好，杨素的行为都深得杨坚之心，因此一路加官进爵，一路受到赏赐，一天比一天显贵。杨坚在世时，杨素最高官至尚书左仆射，爵位至越国公，而他的子嗣和家人也都官居高位。据说，杨素家的房子无比奢华，规模样式和皇宫差不多，童子就有几千，歌妓小妾也有上千。