公元581年，杨坚登基，隋朝建立。杨素被加封为上柱国、御史大夫。杨素多次献上讨伐陈朝，之后也与杨广等人被任命为行军元帅，获得长江上游作战，最后灭亡陈朝。杨素因战功被封为越国公，不久又带兵平定江南士族豪强的叛乱。接连的胜仗让杨素名声大噪，越发受到杨坚的重用，让他执掌朝政。杨素为了讨好杨坚，也帮他建造仁寿宫，劳民伤财，役夫死伤无数，甚至据说他把尸体都一并焚烧。后来，突厥一直骚扰边境，杨素又被派去讨伐，大破突厥。

604年，杨坚驾崩，杨广登基，而拥护帮助他的就是早已投靠的杨素，他还讨伐起兵反对杨广的杨谅，助他稳定朝政。之后杨广拜杨素为司徒，改封楚国公。606年，杨素去世，谥曰“景武”，享年62岁。