李世民父子奪去了大隋江山，作爲戰利品，李世民又把楊廣的女兒納入後宮，那楊妃身上雖有皇家的血脈，卻很低調，畢竟是亡國之君的後人，她的一舉一動都被文武大臣審視，這也使得楊妃很痛苦。
史書中對其的記載只有7個字“恪母，隋煬帝女也。”可見楊妃雖然名義上爲隋煬帝女，看似出身高貴，然而連生母爲誰、排行第幾、封號爲何都不知曉，楊妃也沒有公主封號，說明沒有受過正式冊封——隋煬帝登基後便去了洛陽，即使是冊立太子也不過是下詔遣使回長安，更不用說還會特意記得要去冊封一個留在長安的公主了。
也由此可知楊妃的生母身份較低，且並不得寵，只是一名普通後宮。
雖然如此，楊妃早年也是天之驕女，史籍中形容楊淑妃“貴盛無比”，不過大隋朝滅亡之後，便成了亡國之囚徒，在一人得道雞犬升天的社會裏，楊妃也被壓到命運的底層，儘管她爲李世民生下兩個兒子，尤其是吳王李恪，“天地之精華，萬物之靈長”，當長孫皇后病逝後，楊妃也一度得到唐太宗的寵愛，甚至一度想立她爲後，她謙恭，美貌，有公主天然的儀態，更有一個出色的兒子——吳王恪，可惜因爲她是大隋的公主，有着前朝皇帝的血統，一直未能如願。
楊妃美貌，又爲人謙恭，當然處處受人排擠，不僅是女子入宮見妒，更是血統惹的禍，畢竟當時長孫無忌擁有很大的權力，爲了讓自己的外甥長孫皇后的兒子順利繼承王位，一定會打擊排斥其他女人生的孩子。
下面再看楊妃在後宮中的封號，唐朝貞觀年間的四夫人封號以貴淑德賢爲序，韋貴妃的封號是非常明確的，另有一位生育了十三皇子李福的楊貴妃，貴妃的封號是死後追封，可見其生前也是正一品的妃位，很有可能封號便是淑妃，而燕德妃是由賢妃升爲德妃的，原因是陰妃之子李祐謀反被誅，陰妃也由此被降爲了嬪，還有一位鄭賢妃，是燕賢妃升爲德妃後隨之晉位的，所以楊妃生前並無妃位，不過是死後才被追封爲“妃”，提升了品級。
楊妃不受寵，也波及自己的兩個兒子，唐太宗貞觀年間別的皇子都是都督，唯獨李恪、李愔兩人是刺史;別的皇子都是實封800戶，唯獨李恪與李愔一個被削戶600一個被削戶400，想來楊妃要是得寵的話，如何會在史書上僅留下7個字的記載，她的兩個兒子又怎麼會在唐太宗諸子中待遇如此之差?
有人說楊妃就是齊王李元吉的妻子，其實這並不對，當時有兩個楊妃，在野史茶餘裏，這個楊姓女子，既身爲國破家亡的前朝公主，又本是李世民的弟妹，齊王元吉的妃子，在國仇家恨之間、頂着亂倫的罵名，與唐太宗轟轟烈烈地愛了一場。
但在歷史上，兩位楊妃確實是獨立成個體的一個“大楊妃”，一個“小楊妃”，前一個是隋煬帝的公主，被封爲淑妃，而另一個楊妃因爲曾經屬於齊王元吉，我們習慣稱她爲“齊王妃。
高宗李治繼位後，失去了太宗庇佑的楊淑妃母子，在處心積慮的長孫無忌面前無處可逃，最終恪被牽扯進高陽公主謀反的案件裏，以莫須有罪名賜死，“長孫無忌既輔立高宗，深所忌嫉。永徽中，會房遺愛謀反，遂因事誅恪，以絕望，海內冤之。”如果一個人的死亡，可以絕天下之望，他的卓越實在令人無法想象，既然自己的親外甥面對這樣一個卓越的對手，那麼長孫無忌只能將其判處死刑。
吳王恪死後，他的弟弟蜀王也被黜爲庶人，徙居巴州，死後的爵位才被起復，而他們的母親楊淑妃，從此在史官的筆下失去蹤跡。
