漢武帝雄才蓋世，但他也始終沒有解決接班人的問題。先是立嫡長子劉據爲太子，之後他寵幸李夫人，於是想立李夫人的兒子劉賻爲太子。可是還沒來得及立劉賻爲太子，李家就獲罪被族誅，劉賻自然也就被邊緣化了，於是被封爲昌邑王。之後，又發生了巫蠱案，太子劉據被迫造反，失敗之後自殺。到漢武帝去世時，只有鉤弋夫人的兒子弗陵，爲了防止漢高祖去世後呂后專權的情況再次出現，漢武帝將鉤弋夫人賜死，並託孤給霍光、上官桀等人。
但漢武帝在位時，雄才大略，權力都集中在他一個人身上。集權的好處當然是很明顯的，因爲權力集中，所以只要掌權的人英明神武，就很容易辦成一些大事。可是，集權的弊端在於，因爲權力過分集中，所以一旦掌握權力的人突然去世，這個權力中心不存在了，就會引起一些混亂。漢武帝去世前，託孤的時候，爲了防止權力過分集中在大臣手中，架空自己年輕的兒子，所以並沒有將權力都託付給霍光，而是還有上官桀、桑弘羊、金日磾三個人，以相互牽制。可是，漢武帝去世後，霍光很快就以上官桀圖謀“殺霍光、廢昭帝、立燕王旦”爲名，殺掉了上官桀，桑弘羊和金日磾隨後也先後被霍光消滅。這樣，權力還是集中到了霍光手中。
其實，同樣的情況後來曾多次上演。強君往往也伴隨着權力高度集中，而且往往因爲他太強勢，兒子總是很難讓他滿意，就總是想換儲，結果最後總是讓一個年輕懦弱但聽話的小兒子繼承皇位，再託孤給大臣，而且一般都是同時託付給幾位大臣。可是，這樣做的結局無一例外的都是很快就爆發了政治鬥爭，權力最後還是會集中在一個大臣手中。比如劉備臨終前託孤給諸葛亮和李嚴，結果是諸葛亮很快就在政治鬥爭中打倒了李嚴，成爲權傾朝野的權力核心，只不過諸葛亮始終對漢室忠貞不二，沒有其它個人私慾，也沒有刻意培植個人勢力。唐太宗李世民的情況與漢武帝相同，太子承乾和次子李泰爭儲，最後是懦弱無能的晉王李治意外成爲皇位繼承人。而李世民的託孤大臣很快也在政治鬥爭中亂作一團，反而被武則天攫取了最高權力。
霍光將權力集中在自己手中後，在昭帝時期，總體而言還是不錯的，這當然得益於昭帝早逝，壓根沒有來得及與霍光發生權力衝突。說到這裏，不免讓人想到西藏自五世達賴以後歷任達賴中，除了七世達賴，其他達賴都未能來得及親政，就早早去世了。如果說只有個別達賴出現這種情況，還能用意外解釋，但從五世達賴到十二世達賴，中間只有七世達賴例外，其他達賴無一例外的在親政之前去世，未免讓人起疑，畢竟攝政在這方面是有嫌疑的。從這個角度說，昭帝年僅二十一歲就突然駕崩，霍光多少也有些嫌疑。畢竟，上官桀就曾串通燕王旦，想廢昭帝另立燕王旦爲帝。從史書記載上看，昭帝雖然不如漢武帝那般英明神武，但至少有中人之資，一旦年齡大了，霍光還要繼續名正言順的掌握核心權力，就沒有那麼順理成章了。
站在霍光的角度看，要保證他始終能夠掌握最高權力，無非是兩個辦法，一個是少年皇帝，不懂政事，另一個辦法就是皇帝懦弱無能。史書的記載顯示，霍光在政治鬥爭中獲勝後，權傾朝野，一人之下萬人之上，漢昭帝就感到“芒刺在背”，很不舒服。也就是說，漢昭帝已經意識到，霍光會威脅到他的權力乃至人身安全。而且，這樣的感受能在史書上流傳下來，就說明漢昭帝的這種感覺曾對身邊人表露過，那麼他當然會尋找機會奪回原本屬於自己的權力。所以，如果有可能，換一個年齡更小的皇帝，以便於自己繼續掌握最高權力，就是霍光的理性選擇。
因此，在漢昭帝不明不白的突然駕崩後，大臣討論立誰爲帝時，廣陵王胥首先被排除了，理由是他從來沒有進入過皇位繼承人範圍，漢武帝在巫蠱案之後，本來就可以立廣陵王胥，卻沒有選擇他，而是選擇了年幼的漢昭帝。這個理由其實壓根就不能成立。漢高祖劉邦駕崩後，呂后專制，周勃等人除掉呂氏家族後，就選擇了立代王爲帝，而代王的母親薄姬很早就已失寵，隨代王到了封地生活，劉邦也從未考慮過讓代王繼承皇位。但周勃等人仍然選擇了立代王爲帝。當然，周勃等人立代王爲帝的理由或許是，高祖諸子中當時代王年長而且名聲不錯，但更重要的顯然是，正因爲劉邦從未考慮過讓代王繼位，薄姬又是小門小戶，所以代王在朝廷裏沒有什麼勢力，立他爲帝，周勃等人可以繼續把持朝政。而霍光拒絕讓廣陵王胥繼位，一個最主要的原因顯然是，他年齡大，心智已經成熟，一旦登上帝位，那麼就很容易與霍光發生衝突，危及霍光的地位。
所以，霍光最後選擇了昌邑王賻的兒子，也就是繼任的昌邑王劉賀。他的理由是，劉賀從輩分上說，是昭帝的下一輩，比較順理成章。但更重要的理由也許是，在當時，昌邑王賀胡作非爲的表現已經人盡皆知，這種政治上近乎白癡的作風讓霍光比較放心，讓他繼承皇位，不會危及霍光繼續把持最高權力。想想看，作爲一個要進京繼承皇位的人，還能在半路上強搶民女，還不知道收斂一點，政治上怎麼會有很多想法呢?但霍光沒想到的是，昌邑王賀雖然在封地胡作非爲，看不出一點政治能力，但繼承皇位後，卻很快就想着採取措施，讓自己的親信掌握核心部門。這時候，對霍光而言，就很難辦了。要麼急流勇退，歸政給皇帝，要麼奮起反擊，廢掉這個在朝廷尚未站穩腳跟的皇帝，另選一個沒有根基的皇室後裔來繼承帝位。霍光的選擇是後者，果斷反擊。所以，在這種情況下，劉賀本人到底如何並不重要，重要的是政治鬥爭需要他成爲什麼樣的人，他就可以在權臣掌握之下的輿論中被塑造成爲什麼樣的人。霍光迅速採取措施，讓大臣向年輕的皇太后也就是他的外孫女上奏摺彈劾劉賀，進而以皇太后的名義廢黜了劉賀，另選了太子據的孫子劉詢爲帝。
巫蠱案之後，太子據與兒子劉進一同遇難，劉進的兒子劉詢流落民間，在祖母史家長大，到後來武帝才下詔將劉詢帶進宮，在宮中撫養。不過，也許是在民間的生活經驗讓少年劉詢覺得有趣，所以他仍然經常私自出宮在京郊遊玩。很顯然，與廣陵王胥一樣，劉詢作爲罪人劉據的孫子，漢武帝並沒有將他列入皇位繼承人的考察範圍，他也沒有什麼有權勢的親戚，在朝廷更談不上有什麼鐵桿支持者。甚至，昌邑王賀繼位後，想在朝廷裏安插自己的親信，還有親信可用，劉詢連這樣的親信都沒有幾個。這當然更便於霍光控制。因此，霍光大概認爲，劉詢是一個比昌邑王賀更容易控制的皇位繼承人。
智者千慮必有一失。霍光考慮到了幾乎所有問題，唯獨沒有考慮到，出身民間的劉詢雖然在朝廷沒有什麼支持者，也沒有什麼勢力，但他最大的優勢是年輕，而霍光卻已經垂垂老矣。所以，在霍光的健康狀況尚好的時候，宣帝始終很節制，沒有與霍光發生正面衝突，讓霍光始終把持最高權力，直至病終。唯一的一次是，霍光希望立自己的女兒霍成君爲皇后，而宣帝卻堅持立自己出身小吏之家的妻子許平君爲皇后。這次霍光讓步，但不久後，霍光的妻子就指使御醫下毒害死了許皇后。這時，宣帝面對的情況就很明確了，名義上，皇后主管後宮全部事務，霍家既然能毒死皇后，當然也完全有可能下毒害死皇帝。所以，宣帝只能選擇退讓，立霍成君爲皇后。但我們可以想像，宣帝當時的心情，雖然無力反抗，但對霍光的仇恨肯定是刻骨銘心的。
宣帝繼位五年後，霍光病逝。次年，宣帝就廢掉了霍光女兒的皇后之位，隨後開始着手清洗霍氏家族，幾乎噍類無遺。而且，在漢宣帝執政期間，西漢進入了漢武帝去世之後最強盛的時期，不僅整飭吏治，懲治貪腐，而且對外反擊並最終降服匈奴，成爲西漢歷史上功業僅次於漢武帝的一代雄主。
從這個角度說，作爲權臣，試圖選擇一個便於自己長期控制的傀儡皇帝，這其實是一件技術含量挺高的事情。霍光本來認爲劉賀傻，便於控制，結果劉賀政治上卻並不傻，本以爲宣帝不會威脅到自己，結果宣帝卻選擇隱忍待機，在他身後進行了全面徹底的報復。所以說，霍光終究還是沒有伊尹之志，不是想爲大漢帝國選擇一個合適的皇位繼承人，而是始終想着保持自己的權力，雖然也曾權傾一世，但最終還是沒能保全身家。也就是說，說到底，霍光帶給自己家族的悲劇終究還是他自己挖的坑，他沒來得及填，他的後人用血替他填了。
不過，作爲一代雄主，宣帝后來也遇到了與漢武帝晚期相類似的情況，他後來的皇后王氏家族的勢力逐步壯大，歷經元帝、成帝、哀帝、平帝四世，最終羽翼豐滿，到王莽時終於篡漢自立，建立了新莽政權。從這個角度說，選擇繼承人本身就很難，一個比較強硬的皇帝要爲自己選一個合格的繼承人，就更難了，而最終往往會“螳螂捕蟬黃雀在後”。漢武帝強硬，最終是霍光專權;漢宣帝強硬，王氏篡漢;唐太宗英武，後來是武則天自立爲帝。而前代英明帝王真正的繼承人，往往並不是選出來或者指定好的，而是在各種因緣巧合的情況下出現的。而他們無一例外的都是在被選中繼承皇位的時候，幾乎沒有人能看出他們有什麼過人之處，在掌握最高權力後卻突然變得殺伐決斷、生殺予奪皆自我出，根本不讓別人有反擊的餘地。
