虽然如此，杨素的地位和声望还是遭到了杨广的忌惮，虽然表面是仍然十分尊敬杨素，还时常赏赐于他，但实际上对他十分冷淡。一次，有太史官说隋地所属的分野即将有一次大丧事，因为楚地与隋地同属一个分野。于是杨广就把杨素的爵位从越国公改封为了楚国公，其实是希望让他来挡灾。据说，杨素患病后，杨广派太医去治病，暗地里也总是问医生他什么时候死。由此可见，杨广对杨素的厌恶。

杨素为官这么多年，自然深知这一点，而他也早就到了无官无爵可封的地位，因此，当他重病的时候，他就不愿意服药，其实是认为自己已经没必要活下去了。所以，杨素病死是杨广逼死的，也是他自己在求死。