杨素出身弘农杨氏，家世显赫，祖父杨暄是北魏的辅国将军、谏议大夫，父亲杨敷为北周的汾州刺史。

　　杨素少时就有大志，为人不拘小节。他的堂叔祖杨宽觉得他不一般，称赞他出类拔萃，无与伦比，日后必定显贵发达。杨素与牛弘志同道合，二人勤奋好学，研究学问，博览群书，学问渊博。

　　二，效力北周

　　杨素善写文章，文采斐然，因此被权臣宇文护征召为记室，后来升任大都督。宇文邕杀堂兄宇文护，独揽朝政。杨素因为父亲杨敷恪守臣节，被北齐杀害而朝廷没有奖赏，要求朝廷抚恤。但宇文邕拒绝，杨素于是多次上书申诉。宇文邕大怒，要杀掉杨素，他大喊：“我为昏君效力，死是应该的。”宇文邕于是追封杨敷为大将军，封杨素为车骑大将军、仪同三司。杨素替宇文邕起草诏书，文辞优美，屡次受到嘉奖。

　　三，助灭北齐

　　宇文邕欲消灭北齐，一统北方。杨素向他请求替父报仇，担任先锋，得到允许。杨素随齐王宇文宪伐齐，双方在河阴交战，杨素因功受封清河县子。

　　次年杨素随宇文宪攻打晋州，高纬率大军前来救援。宇文宪听闻齐军人多势众，望风而逃。高纬趁机率军追击，幸亏杨素等人拼死奋战，宇文宪得以逃脱。后来宇文邕灭齐，封杨素为成安县公。陈朝趁机争夺北齐旧地，杨素跟随大军屡次击败陈军。

　　四，辅佐文帝

　　大象二年(580年)，丞相杨坚独揽朝政，杨素投靠。荥州刺史宇文胄反对杨坚专权，起兵作乱。杨素率军平定宇文胄，杨坚封他为徐州总管、柱国、清河郡公。

　　开皇元年(581年)，杨坚篡周建隋，封杨素为上柱国。开皇四年(584年)，杨素升任御史大夫。杨素性格粗犷但口才很好，注重尊卑。他推崇高颎，敬重牛弘，深交薛道衡，而对苏威却不屑一顾。杨素负责督造仁寿宫，督促劳役十分严急，做工的很多累死。

　　五，平灭南陈

　　隋文帝欲灭南陈，一统天下。杨素屡次进谏平陈之策，隋文帝大喜，封他为信州总管，命他督造大船，准备灭陈。

　　开皇八年(588年)，隋军攻陈，杨素任行军元帅。杨素率军沿江而下，在狼尾滩大败陈将戚欣。杨素率军继续东进，军纪严明，秋毫无犯，陈人纷纷称赞他为江神。

　　杨素、刘仁恩率军屡败陈将吕仲肃，陈军闻风丧胆，援军不战而逃。陈湘州刺史、岳阳王陈叔慎向杨素投降，杨素与秦王杨俊会师汉口。陈亡，隋文帝封杨素为越国公。隋灭陈，陈人不服，屡次反叛，被杨素一一平定。

　　六，击败突厥

　　开皇十八年(598年)，突厥达头可汗攻隋。隋文帝任杨素为灵州道行军总管，讨伐突厥。杨素率军大败突厥，达头可汗惨败而逃。仁寿二年(602年)，突厥侵犯云州。杨素任行军元帅，大败突厥。突厥远遁，不敢轻易骚扰隋朝。

　　七，依附杨广

　　杨广图谋太子之位，倾心结交杨素。杨素为杨广出谋，夺得太子之位。杨广为太子，杨素铲除异己，任人唯亲。隋文帝逝世，杨广登基为帝。汉王杨谅造反，杨素率军将其平定，得到杨广的大力称赞。杨素班师回朝，杨广命他营造东都。大业元年(605年)，杨广封杨素为尚书令、太子太师。次年杨素升任司徒、楚国公，不久病逝。