楊廣即位後，立兒子楊昭爲皇太子，之後楊昭從長安來洛陽拜見。幾個月後，楊廣就要求楊昭返回長安，他想再在父親身邊待一陣子，哪知楊廣不同意，楊昭屢次請求，且每次都跪拜，由於他原本就很胖，數次折騰下來就得病了。楊廣沒有爲他請大夫，而是請巫師來看他，這個巫師牢牢抓住楊廣心裏的小辮子，說楊昭是被楊勇的鬼魂上身了，堅決要爲他做法事，爲此延誤醫治時間，於606年七月二十二日去世，年僅二十三歲。
楊昭
楊廣陷入了深深的自責之中，楊昭也是父親楊堅最欣賞的，加上他心性至善，可以說是十分理想的接班人。
楊昭是楊廣和蕭皇后的兒子，出生後不久，楊昭就被楊堅抱在後宮養起來。三歲時，在玄武門的石獅子旁玩耍，楊堅和獨孤皇后到那裏。楊堅的腰突然疼起來，不得不將手搭在皇后的肩上。這一幕剛好被小楊昭看見，只見他迴避在一邊。楊堅感嘆說他天生來就有長者的心性。一次，楊堅對楊昭說要爲他娶妻，哪知楊昭應聲哭泣。楊堅感到很奇怪，就問他緣由，他答道：“漢王楊諒未結婚時，總在您這裏。一朝娶妻，就出外去了。我怕離開您，因此哭泣。”楊堅感嘆他有至性，爲此十分喜歡這個孫子。
長大後的楊昭，更是生性謙和，言色平靜，且生活極其節儉樸素。臣下有年老父母的，他都要親自詢問是否安好，逢年過節都有恩賜。
楊侗
有些讀者會問了，如此文靜的人是不是一個書生呢?實際上，楊昭長得很強壯，會武功，能拉強弓。
這麼好的兒子去世，楊廣悲痛萬分，下詔讓內史侍郎虞世基寫哀策文追悼他，賜諡號爲“元德”。楊廣前半生十分有作爲，後半生卻沉迷於酒色，不理朝政，恐怕與此有關吧。
不久，楊廣又將楊昭的三個年幼的兒子封爲親王，分別是：燕王楊倓，越王楊侗，代王楊侑。
燕王楊倓
在所有子孫中，楊廣最喜歡的是燕王楊倓，常常將他帶在身邊。楊倓十分喜歡讀書，特別是儒學方面的。由於他的母親大劉良娣很早就去世了，因此每到母親的忌日，就痛哭不已，楊廣對他更是另眼相待。宇文化及弒君篡位時，楊倓就感到將有大事發生，想去告訴祖父，但又怕走露消息，因此與樑公蕭巨、千牛宇文晶等人，穿過芳林門旁邊的水竇而進去。抵達玄武門時，他假裝上奏說：“我突然中了邪，命在旦夕，請得以與皇上當面辭別，我死而無憾。”希望以此見到祖父，但還是被掌管宮門的攔住，無法向楊廣報告。不久大亂爆發，被賊人殺害，年僅十六歲。
越王楊侗
越王楊侗，其母是小劉良娣，他長得十分漂亮，且性格寬厚，很聽祖父的話。楊廣每次出遊，總讓楊侗留守後方。楊侗還幫助朝廷平叛亂，瓦崗軍造反時，楊侗親率大軍前往圍剿，儘管最後大敗，但是也可看他還是非常盡心盡責的。楊廣被殺後，楊侗被擁立爲帝，年號皇泰，而宇文化及卻立楊浩爲帝。繼位不久，李密來降，楊侗既高興又害怕，高興的是現在有恢復大隋江山的軍隊了;害怕的是，當時全國各地都已“烽火連天”，僅憑這點力量怎麼能夠呢?加上楊侗不是那種亂世梟雄的料，只能苦苦支撐危局。王世充稱帝后，楊侗就被幽禁起來，之後，裴元基等一些大隋老臣想再次擁立楊侗，不料卻走漏消息，被王世充殺害，年僅十四歲，諡號“皇泰帝”。
代王楊侑
而代王楊侑更加死得不明不白。楊侑的母親是韋妃，自小就很聰明，十分受祖父楊廣的喜愛。在楊廣出征高麗時，就命楊侑待在長安。楊侑十歲那年，還被封爲太原的太守一職。不久就讓他鎮守長安，楊廣自己跑到江南旅遊去了。據說楊侑氣度非凡，很有明君的樣子，許多大臣對他相當忠心。如侍讀姚思廉，左翎衛將軍陰世師，京兆郡丞骨儀，李靖等。李淵攻入長安後，擁立楊侑爲帝，改元“義寧”。可是僅一年就被李淵廢黜，降封楊侑爲酅國公，閒居長安。又過了一年，楊侑神祕地死去，有人說他被李淵殺害的，也有人說是病死的。年僅十五歲，諡號“恭皇帝”。
