由于独孤皇后的挑拨，宰相高熲被隋文帝革职为民，这使得太子失去了一把巨大的保护伞。改立太子的机会终于到了。可是，太子杨勇虽然不讨父母喜欢，但毕竟没有什么大的过错，废黜的事情会如何进行呢?可以说隋文帝找到了太子的各种罪状，但是让人感到奇怪的是，当隋文帝把自己改立太子的想法公之于众的时候，得到的回应却很让他吃惊。

　　高被革职，太子的保护伞没有了。朝中认识高度一致了，废太子势在必行，这时小人物姬威起了大作用。开皇二十年，杨广下命令，“东宫过失，主上皆知之矣，已奉密诏，定当废立;君能告之，则大富贵。”你如果能挑头，富贵就唾手可得。姬威马上举报太子图谋不轨了。这时隋文帝在避暑，赶回大兴城，上朝问大臣，“我新还京师，应开怀欢乐，不知何意翻然愁苦”。

　　他这样问其实是因为这几年，他天天听独孤皇后讲太子坏话，他就认为太子不才是朝中共识了。他这样问是给朝臣一个表达的机会。如果说出太子劣迹，就直接废掉太子。可是，好多是假象朝臣不知道。大臣没直接感受，愣了，皇帝表达什么他不知道。牛弘说话了，“臣等不称职，故至尊忧劳”。隋文帝不需要这样的回答，直接对东宫官员发话，“仁寿宫此去不远，而令我每还京师，严备仗卫，如入敌国。我为下利，不解衣卧，昨夜欲近厕，故在后房恐有警急，还移就前殿，岂非尔辈欲坏我国家邪?”。

　　我每次回来，如临大敌，你们难道不知道我为什么紧张吗?我本住后殿，我觉得不如前殿安全，我不敢解衣服睡觉，说完拿下这些东宫官员。让杨素宣布太子的罪状。他宣布，刘居士纠集一些人为非作歹，我请太子缉拿他的手下，太子吼叫，不是被你们捉拿了吗?还要什么人呀?跟我有什么关系呀?这不是违抗吗?他还亲口说过，我父亲当年多危险呀，不是长子跟着，当了皇帝就把我当成了眼中钉哪。这不是怨恨吗?说了这两罪状，大臣想这也不是大事呀。隋文帝也觉得这样说不太对劲。

　　他就自己补充，不孝，皇后也劝我废掉他，我考虑是嫡长子，一直希望他从善，没想到越来越不象话，四大罪状：一是指着皇后侍女说这以后都是我的，这不是不孝吗?我疑心他毒死了元氏，分明威胁了;三是与云氏在外边生了儿子，我们不计较，没想到他们认为我们不怀好意，与我们离心离德;四是云氏，肯定跟别人也不检点，就算这个是他生的，龙生龙，这样的母亲生的，如果将来成了正统，不能忍受。想来想去，负责起见，另立太子，大家同意吗?左右一听，更糊涂了。这样的琐事不登大雅之堂，太没水平了，这样废太子，也太轻率了。大臣们沉默着，元旻说话了，“废立太子，诏旨若行，后悔无及，谗言罔极，惟陛下察之”。建议三思而后行，免得后悔无及。大臣们并不支持呀，相当怀疑甚至反对呀。隋文帝也意识到自己想简单了。他还以为是所有人都反对太子，巴下高就够了。现在看，远远复杂多了，大臣们并没有认识到太子的过失，甚至公开支持太子。

　　大臣们并没有像他想象的那样认同此事，甚至还有人公然反对。这其实暴露出隋文帝此前得到的情报有很多误差，理应重新评估才是。那么隋文帝会怎么做呢?

　　这时，隋文帝可以两种选择：重新评估，再考虑一下是不是偏听了;既然做了做到底。他选了第二种，他对太子有长期积累的不满，与太子的矛盾公开化了，不如索性废掉。就得解决两个问题，怎么让大臣了解太子过错，让了解的人揭发吧，还得靠姬威，内部人了解情况。不能只讲琐事，家庭过结不行，得讲对大臣造成什么危害。姬威说了，他曾说，当了皇帝到处修离宫别馆，谁进谏，我就宰掉，就不害人不怕死。这不是昏君吗?还说，太子请人算卦，说陛下活不过开皇十八年，天天算日子，这样的不孝，谁能忍受呀?隋文帝说了，“谁非父母生，乃至于此，我有旧使妇女，令看东宫。奏云：‘勿令广平王至皇太子处。东宫憎妇，亦广平王教之。’”我是忍痛割爱，为国除奸呀。一唱一和，反正至少算是交待一点了。第二个问题，元旻的公开支持，这是最高武官的支持，左卫大将军呀。如果他这儿出问题，甚至会引发兵变。杨素来负责了。没几天，司法部门向元昱发难了，与太子有不正当的交往。这时元旻还正宿卫呢，拿下来了。解决得干净。杀一儆百了。压服了朝廷。两步走完了，太子的罪状还不明，还得有明确的事件，才显得名正言顺。