權力是個怪東西，總讓人爲之去折腰，去追求，去捍衛，作爲權臣如此，作爲帝王更甚。
漢昭帝年幼時，霍光“初輔幼主，政自己出”(《漢書•霍光傳》)，這無可厚非，也是漢武帝的遺命和囑託。隨着時間推移，漢昭帝成長成人，必然想收回權力，霍光仍不歸政，這就說不過去了。念及霍光還算忠於漢室，更忌憚其在朝中的根基和勢力，漢昭帝自知鬥不過霍光，只能繼續坐在龍椅上充當近似玩偶的傀儡皇帝，這讓心氣和天賦極高的漢昭帝感到很憋屈。至於班固所論“孝昭委任霍光，各因其時以成名，大矣哉!”，不過是漢昭帝的無奈之舉罷了。
除了皇權旁落，漢昭帝在私生活上也受到了霍光的極大限制。漢昭帝九歲時，“穿淋池，廣千步……乃命文梓爲舟，木蘭爲枻……畢景忘歸，乃至通夜”，讓自幼長於深宮之中的漢昭帝玩得很歡暢，“帝大悅”，可惜好景不長，“及乎末歲，諫者多。遂省遊蕩奢侈，堙毀臺池，鸞舟荷芰，隨時廢滅”，漢昭帝不得不就此作罷。能發動羣臣掃皇帝興趣的，也只有霍光了。此後十餘年，一直到駕崩，漢昭帝再也沒能感受“萬歲爲樂豈爲多”(晉王嘉《拾遺記•前漢下》)的樂趣。
霍光專權，除了限制漢昭帝玩樂，連宮闈之事也橫加干涉。十二歲時，漢昭帝大婚，立上官桀之子上官安之女，也就是霍光的外孫女，年僅六歲的上官氏爲皇后。拋開諸多人情因素，這終究是一樁政治婚姻，也是上官皇后被冷落的根源所在。後來，上官桀父子密謀造反失敗後被霍光誅殺，夷滅宗族，牽連甚廣，因“皇后以年少不與謀，亦光外孫，故得不廢”(《漢書外•戚傳》)。儘管沒有廢掉上官皇后，但經此一變，漢昭帝對皇后越發冷落，已經透漏出了對霍光的不滿。
上官皇后畢竟是霍光的外孫女，又居後宮之首，霍光出於私心，“欲皇后擅寵有子，……言宜禁內……後宮莫有進者”，(《漢書•外戚傳》)，意思是說，霍光爲了讓外孫女獲得專寵，增加懷孕機率，不許後宮諸妃嬪進御。對此，《漢書•五行志》也有記載，“光欲後有子，……禁內後宮皆不得進，唯皇后顓寢”，陪皇帝睡覺，替皇帝傳宗接代，成爲皇后一個人的專利，其他妃嬪一概靠邊。
爲了確保上官皇后專寵受孕，防止漢昭帝隨意與其他宮嬪雲雨，霍光乾脆玩了手絕的，“雖宮人使令皆爲窮絝，多其帶”(《漢書•外戚傳》)。窮絝，類似於現在形制的褲子，即開襠褲;多其帶，即多用絲帶纏繞。對於窮絝，唐代語言文字學家顏師古稱：“窮絝有前後當(襠)，不得交通也。”這樣一來，漢昭帝連男歡女愛之事也不得隨心所欲。有花不能採，有欲不能泄，每天只能和那位毫無感情甚至厭惡的上官皇后背對背，漢昭帝的心境和處境可想而知。
想當權不能當權，想玩不能玩，想寵幸宮嬪不能寵幸宮嬪，漢昭帝在權威、玩樂、性趣上均受到了權臣霍光的嚴格扼制。不能玩樂也就算了，但作爲當朝皇帝，無實權可抓爲一大恨;作爲正常男人，無女人可御又爲一大恨，如此毫無尊嚴、毫無活力的屈辱遭際，還不如一個王侯將相，不如一個平民百姓，你說他苦惱不苦惱，忿恨不忿恨，憋屈不憋屈?時間一長，漢昭帝也只有生病的份了。
從“侍疾”、“體不安”到“寢疾”，僅僅三年，就讓一個原本生龍活虎的青年皇帝倒在了病牀上。究其原因，就是因爲權臣霍光“亡周公之德，秉政九年，久於周公，上既已冠而不歸政”(《漢書•五行志》)，以及對漢昭帝私生活的無恥干涉和橫加限制，使漢昭帝有苦難言，有怨難訴，有忿難平，欲哭無淚，最終肝火內熾，病入膏肓。漢昭帝看似突然死亡，其實有個漫長的煎熬過程，他是因處處受制於霍光，長期鬱悶憋屈而死。可以說，漢昭帝是中國歷史上死得最憋屈的皇帝。
