此时杨素的威望已经达到顶峰了，隋炀帝也对他非常忌惮，杨素对这一切非常明白，重病期间拒绝治疗。临终前杨素为薛道衡写了一首五言诗，气势宏大，风韵出众，薛道衡读后感叹道：“人之将死，其言也善，岂若是乎!”不久后，这位隋朝的第一名将，第一奸臣病死于长安。