由於獨孤皇后的挑撥，宰相高熲被隋文帝革職爲民，這使得太子失去了一把巨大的保護傘。改立太子的機會終於到了。可是，太子楊勇雖然不討父母喜歡，但畢竟沒有什麼大的過錯，廢黜的事情會如何進行呢?可以說隋文帝找到了太子的各種罪狀，但是讓人感到奇怪的是，當隋文帝把自己改立太子的想法公之於衆的時候，得到的迴應卻很讓他吃驚。
高被革職，太子的保護傘沒有了。朝中認識高度一致了，廢太子勢在必行，這時小人物姬威起了大作用。開皇二十年，楊廣下命令，“東宮過失，主上皆知之矣，已奉密詔，定當廢立;君能告之，則大富貴。”你如果能挑頭，富貴就唾手可得。姬威馬上舉報太子圖謀不軌了。這時隋文帝在避暑，趕回大興城，上朝問大臣，“我新還京師，應開懷歡樂，不知何意翻然愁苦”。
他這樣問其實是因爲這幾年，他天天聽獨孤皇后講太子壞話，他就認爲太子不才是朝中共識了。他這樣問是給朝臣一個表達的機會。如果說出太子劣跡，就直接廢掉太子。可是，好多是假象朝臣不知道。大臣沒直接感受，愣了，皇帝表達什麼他不知道。牛弘說話了，“臣等不稱職，故至尊憂勞”。隋文帝不需要這樣的回答，直接對東宮官員發話，“仁壽宮此去不遠，而令我每還京師，嚴備仗衛，如入敵國。我爲下利，不解衣臥，昨夜欲近廁，故在後房恐有警急，還移就前殿，豈非爾輩欲壞我國家邪?”。
我每次回來，如臨大敵，你們難道不知道我爲什麼緊張嗎?我本住後殿，我覺得不如前殿安全，我不敢解衣服睡覺，說完拿下這些東宮官員。讓楊素宣佈太子的罪狀。他宣佈，劉居士糾集一些人爲非作歹，我請太子緝拿他的手下，太子吼叫，不是被你們捉拿了嗎?還要什麼人呀?跟我有什麼關係呀?這不是違抗嗎?他還親口說過，我父親當年多危險呀，不是長子跟着，當了皇帝就把我當成了眼中釘哪。這不是怨恨嗎?說了這兩罪狀，大臣想這也不是大事呀。隋文帝也覺得這樣說不太對勁。
他就自己補充，不孝，皇后也勸我廢掉他，我考慮是嫡長子，一直希望他從善，沒想到越來越不象話，四大罪狀：一是指着皇后侍女說這以後都是我的，這不是不孝嗎?我疑心他毒死了元氏，分明威脅了;三是與雲氏在外邊生了兒子，我們不計較，沒想到他們認爲我們不懷好意，與我們離心離德;四是雲氏，肯定跟別人也不檢點，就算這個是他生的，龍生龍，這樣的母親生的，如果將來成了正統，不能忍受。想來想去，負責起見，另立太子，大家同意嗎?左右一聽，更糊塗了。這樣的瑣事不登大雅之堂，太沒水平了，這樣廢太子，也太輕率了。大臣們沉默着，元旻說話了，“廢立太子，詔旨若行，後悔無及，讒言罔極，惟陛下察之”。建議三思而後行，免得後悔無及。大臣們並不支持呀，相當懷疑甚至反對呀。隋文帝也意識到自己想簡單了。他還以爲是所有人都反對太子，巴下高就夠了。現在看，遠遠複雜多了，大臣們並沒有認識到太子的過失，甚至公開支持太子。
大臣們並沒有像他想象的那樣認同此事，甚至還有人公然反對。這其實暴露出隋文帝此前得到的情報有很多誤差，理應重新評估纔是。那麼隋文帝會怎麼做呢?
這時，隋文帝可以兩種選擇：重新評估，再考慮一下是不是偏聽了;既然做了做到底。他選了第二種，他對太子有長期積累的不滿，與太子的矛盾公開化了，不如索性廢掉。就得解決兩個問題，怎麼讓大臣瞭解太子過錯，讓瞭解的人揭發吧，還得靠姬威，內部人瞭解情況。不能只講瑣事，家庭過結不行，得講對大臣造成什麼危害。姬威說了，他曾說，當了皇帝到處修離宮別館，誰進諫，我就宰掉，就不害人不怕死。這不是昏君嗎?還說，太子請人算卦，說陛下活不過開皇十八年，天天算日子，這樣的不孝，誰能忍受呀?隋文帝說了，“誰非父母生，乃至於此，我有舊使婦女，令看東宮。奏雲：‘勿令廣平王至皇太子處。東宮憎婦，亦廣平王教之。’”我是忍痛割愛，爲國除奸呀。一唱一和，反正至少算是交待一點了。第二個問題，元旻的公開支持，這是最高武官的支持，左衛大將軍呀。如果他這兒出問題，甚至會引發兵變。楊素來負責了。沒幾天，司法部門向元昱發難了，與太子有不正當的交往。這時元旻還正宿衛呢，拿下來了。解決得乾淨。殺一儆百了。壓服了朝廷。兩步走完了，太子的罪狀還不明，還得有明確的事件，才顯得名正言順。
從隋文帝的態度上來看，他已經是鐵了心一定要廢黜太子。但是儘管如此，他也意識到太子罪狀還不足以服人。那麼到底要怎樣的罪狀才能搞垮一代太子呢?隋文帝又會讓誰去羅織這些罪狀?
讓楊素找罪狀，難事得他辦。楊素徹查東宮，搜尋證據。結果是真搜出了兩件新玩意。一是幾千根槐樹棍，好幾斛艾絨。太子的這些東西讓人納悶。兩種東西有什麼用?當時的人都知道是點火用的，古人用燧石劃出火星，用艾絨引火，再用槐樹棍當成火把。太子囤積這些東西是偶發事件，幾天前，他回到東宮，路上看到一根老槐樹，他沒見過什麼生活，覺得好奇，問這樹還能有用嗎?左右說點火有用，太子說弄回去吧，砍成木棍，分給衛士點火吧。破成木棍，還沒來得及分下去，隋文帝發難了，只得囤積下來了，被楊素發現了。楊素覺得新鮮有文章可做，找來姬威，問他。姬威是叛徒，比任何人都希望太子倒黴，說這是與造反有關的事，還有一千多匹馬呢，想在夜裏去包圍仁壽宮，想把皇帝困死在宮中。楊素馬上去對質了。太子也生氣了，我貴爲太子，這也是造反?你家不是養着一萬多馬，不也是?不過，這些作爲證據呈給了隋文帝，抹黑完成了，只差最後的攤牌了。
有了謀反的嫌疑，楊勇這個太子也就再難當下去了。那麼對於太子楊勇，隋文帝會如何處理呢?一直躲在背後的晉王楊廣，又將因此獲得怎樣的利益呢?
開皇十十年十月九日，召見太子。皇帝正裝，士兵間是百官與皇親國戚。廢太子是國事與家事，雙方代表都來了。讓宣讀詔書：“皇太子勇，地則居長，情所鍾愛初登大位，即建春宮，冀德業日新，隆茲負荷。而性識庸闇，仁孝無聞，暱近小人，委任奸佞，前後愆釁，難以具紀。但百姓者，天之百姓，朕恭天命，屬當安育，雖欲愛子，實畏上靈，豈敢以不肖之子而亂天下。勇及其男女爲王、公主者，並可廢爲庶人。”
太子一定要選一個好人，可是當今太子不仁不孝，我爲天下百姓考慮不得不割恩正法，楊勇及兒女被廢爲庶人。我廢你也不得已。楊勇本以爲要殺了，現在甚至有幸福感，趕緊連連磕頭，怎麼會怪您呢。就這樣，二十年太子就是浮雲了。楊廣笑了，一個月後，十一月初三，楊廣被冊爲皇太子，十年久的太子儲位之爭塵埃落定了。楊廣知道是太子不艱苦不謙虛得罪了隋文帝。他特地向隋文帝提出兩項請求，一是降低禮服等級，二是從此後，東宮官員不再對太子稱臣，都只對皇帝稱臣。隋文帝太高興了。大興城當時是長安與大興縣，他請太子去大興縣，你住進去是沾這兩字的興氣。
許多人會認爲這事太錯了，這是亡國根源。古人也這樣想，像李世民說，“隋太子勇撫軍監國，凡二十年，早有定分，楊素欺主罔上，賊害良民，使父子道滅，逆亂之源，自此開矣。”
對嗎?今天，我們評價，這是從結果推源頭，不客觀。客觀看，一是有一定的合理性，楊勇與楊廣比較一下，楊勇的二十年太子就是一個熱衷享樂個性比較任性的人，是中人，有中人之資，是個一般人，楊廣卻是功勳卓著，少年老成，提前想幾步的人，性格能力上都突出，隋文帝希望國家越走越好，希望更優秀的兒子接班，這有合理性;二是給政治造成了巨大的傷害：人爲製造了朝中的分裂，像高與楊素都是優秀的人才，造成了君子道消小人道長的政治局面，支持楊勇的人是正人，而讓楊廣當是不合政治傳統的人，都是野心家投機分子，結果是小人得志了;三是開啓了家庭間兒子間的骨肉相殘的局面，其他兒子也不滿，會引發新的政治動盪，越來越多疑越來越冷血，骨肉相殘馬上就會開始了。
