漢武帝雄才蓋世，但他也始終沒有解決接班人的問題。先是立嫡長子劉據爲太子，之後他寵幸李夫人，於是想立李夫人的兒子劉賻爲太子。可是還沒來得及立劉賻爲太子，李家就獲罪被族誅，劉賻自然也就被邊緣化了，於是被封爲昌邑王。之後，又發生了巫蠱案，太子劉據被迫造反，失敗之後自殺。到漢武帝去世時，只有鉤弋夫人的兒子弗陵，爲了防止漢高祖去世後呂后專權的情況再次出現，漢武帝將鉤弋夫人賜死，並託孤給霍光、上官桀等人。
圖片來源於網絡
漢武帝在位時，雄才大略，權力都集中在他一個人身上。集權的好處當然是很明顯的，因爲權力集中，所以只要掌權的人英明神武，就很容易辦成一些大事。可是，集權的弊端在於，因爲權力過分集中，所以一旦掌握權力的人突然去世，這個權力中心不存在了，就會引起一些混亂。漢武帝去世前，託孤的時候，爲了防止權力過分集中在大臣手中，架空自己年輕的兒子，所以並沒有將權力都託付給霍光，而是還有上官桀、桑弘羊、金日磾三個人，以相互牽制。可是，漢武帝去世後，霍光很快就以上官桀圖謀“殺霍光、廢昭帝、立燕王旦”爲名，殺掉了上官桀，桑弘羊和金日磾隨後也先後被霍光消滅。這樣，權力還是集中到了霍光手中。
霍光將權力集中在自己手中後，在昭帝時期，總體而言還是不錯的，這當然得益於昭帝早逝，壓根沒有來得及與霍光發生權力衝突。昭帝年僅二十一歲就突然駕崩，霍光多少也有些嫌疑。畢竟，上官桀就曾串通燕王旦，想廢昭帝另立燕王旦爲帝。從史書記載上看，昭帝雖然不如漢武帝那般英明神武，但至少有中人之資，一旦年齡大了，霍光還要繼續名正言順的掌握核心權力，就沒有那麼順理成章了。
站在霍光的角度看，要保證他始終能夠掌握最高權力，無非是兩個辦法，一個是少年皇帝，不懂政事，另一個辦法就是皇帝懦弱無能。史書的記載顯示，霍光在政治鬥爭中獲勝後，權傾朝野，一人之下萬人之上，漢昭帝就感到“芒刺在背”，很不舒服。也就是說，漢昭帝已經意識到，霍光會威脅到他的權力乃至人身安全。而且，這樣的感受能在史書上流傳下來，就說明漢昭帝的這種感覺曾對身邊人表露過，那麼他當然會尋找機會奪回原本屬於自己的權力。所以，如果有可能，換一個年齡更小的皇帝，以便於自己繼續掌握最高權力，就是霍光的理性選擇。
因此，在漢昭帝不明不白的突然駕崩後，大臣討論立誰爲帝時，廣陵王胥首先被排除了，理由是他從來沒有進入過皇位繼承人範圍，漢武帝在巫蠱案之後，本來就可以立廣陵王胥，卻沒有選擇他，而是選擇了年幼的漢昭帝。
圖片來源於網絡
這個理由其實壓根就不能成立。漢高祖劉邦駕崩後，呂后專制，周勃等人除掉呂氏家族後，就選擇了立代王爲帝，而代王的母親薄姬很早就已失寵，隨代王到了封地生活，劉邦也從未考慮過讓代王繼承皇位。但周勃等人仍然選擇了立代王爲帝。當然，周勃等人立代王爲帝的理由或許是，高祖諸子中當時代王年長而且名聲不錯，但更重要的顯然是，正因爲劉邦從未考慮過讓代王繼位，薄姬又是小門小戶，所以代王在朝廷裏沒有什麼勢力，立他爲帝，周勃等人可以繼續把持朝政。而霍光拒絕讓廣陵王胥繼位，一個最主要的原因顯然是，他年齡大，心智已經成熟，一旦登上帝位，那麼就很容易與霍光發生衝突，危及霍光的地位。
所以，霍光最後選擇了昌邑王賻的兒子，也就是繼任的昌邑王劉賀。他的理由是，劉賀從輩分上說，是昭帝的下一輩，比較順理成章。但更重要的理由也許是，在當時，昌邑王賀胡作非爲的表現已經人盡皆知，這種政治上近乎白癡的作風讓霍光比較放心，讓他繼承皇位，不會危及霍光繼續把持最高權力。想想看，作爲一個要進京繼承皇位的人，還能在半路上強搶民女，還不知道收斂一點，政治上怎麼會有很多想法呢?但霍光沒想到的是，昌邑王賀雖然在封地胡作非爲，看不出一點政治能力，但繼承皇位後，卻很快就想着採取措施，讓自己的親信掌握核心部門。這時候，對霍光而言，就很難辦了。要麼急流勇退，歸政給皇帝，要麼奮起反擊，廢掉這個在朝廷尚未站穩腳跟的皇帝，另選一個沒有根基的皇室後裔來繼承帝位。霍光的選擇是後者，果斷反擊。所以，在這種情況下，劉賀本人到底如何並不重要，重要的是政治鬥爭需要他成爲什麼樣的人，他就可以在權臣掌握之下的輿論中被塑造成爲什麼樣的人。霍光迅速採取措施，讓大臣向年輕的皇太后也就是他的外孫女上奏摺彈劾劉賀，進而以皇太后的名義廢黜了劉賀，另選了太子據的孫子劉詢爲帝。
巫蠱案之後，太子據與兒子劉進一同遇難，劉進的兒子劉詢流落民間，在祖母史家長大，到後來武帝才下詔將劉詢帶進宮，在宮中撫養。不過，也許是在民間的生活經驗讓少年劉詢覺得有趣，所以他仍然經常私自出宮在京郊遊玩。很顯然，與廣陵王胥一樣，劉詢作爲罪人劉據的孫子，漢武帝並沒有將他列入皇位繼承人的考察範圍，他也沒有什麼有權勢的親戚，在朝廷更談不上有什麼鐵桿支持者。甚至，昌邑王賀繼位後，想在朝廷裏安插自己的親信，還有親信可用，劉詢連這樣的親信都沒有幾個。這當然更便於霍光控制。因此，霍光大概認爲，劉詢是一個比昌邑王賀更容易控制的皇位繼承人。
圖片來源於網絡
智者千慮必有一失。霍光考慮到了幾乎所有問題，唯獨沒有考慮到，出身民間的劉詢雖然在朝廷沒有什麼支持者，也沒有什麼勢力，但他最大的優勢是年輕，而霍光卻已經垂垂老矣。所以，在霍光的健康狀況尚好的時候，宣帝始終很節制，沒有與霍光發生正面衝突，讓霍光始終把持最高權力，直至病終。唯一的一次是，霍光希望立自己的女兒霍成君爲皇后，而宣帝卻堅持立自己出身小吏之家的妻子許平君爲皇后。這次霍光讓步，但不久後，霍光的妻子就指使御醫下毒害死了許皇后。這時，宣帝面對的情況就很明確了，名義上，皇后主管後宮全部事務，霍家既然能毒死皇后，當然也完全有可能下毒害死皇帝。所以，宣帝只能選擇退讓，立霍成君爲皇后。但我們可以想像，宣帝當時的心情，雖然無力反抗，但對霍光的仇恨肯定是刻骨銘心的。
宣帝繼位五年後，霍光病逝。次年，宣帝就廢掉了霍光女兒的皇后之位，隨後開始着手清洗霍氏家族，幾乎噍類無遺。而且，在漢宣帝執政期間，西漢進入了漢武帝去世之後最強盛的時期，不僅整飭吏治，懲治貪腐，而且對外反擊並最終降服匈奴，成爲西漢歷史上功業僅次於漢武帝的一代雄主。
