劉賀被廢爲庶人，漢宣帝上臺後，立刻派山陽太守張敞對劉賀進行嚴密監視，並隨時彙報劉賀的情況，平常在幹些什麼，說了什麼話，與什麼人交往等等。當張敞把他了解到的情況詳細向漢宣帝彙報後，《漢書》上記載：“上由此知賀不足忌。”就是說，漢宣帝認爲劉賀用不着提防。
但是，漢宣帝雖然認爲劉賀不值得提防，卻實實在在地在提防他。元康三年(前63年)，漢宣帝把劉賀封爲，享受四千食邑。表面是封賞，其實是把他轉移到另外一個地方，這也就是封建社會的“徙封”。而且不久後，又削去了劉賀的三千食邑，只給他留一千食邑。同時，在這個過程中，監督劉賀的人，從來沒有斷過。劉賀在神爵三年(前59年)去世後，漢宣帝並沒有讓劉賀的兒子們繼承爵位。這也是一種提防的表現。
那麼，明知道劉賀毫無威脅，爲什麼漢宣帝還要提防他呢?
第一，漢宣帝是做給霍光看的。
漢宣帝上臺以後，他要鞏固自己的地位，不走劉賀的老路，最重要的，就是要示好霍光。要示好霍光，卻又不能對霍光進行大肆的封賞。因爲封賞越多，相當於給自己設置的障礙越多，將來要處理霍光的問題就更難。因此，在哪些方面示好霍光，就是漢宣帝需要考慮的。
漢宣帝在上位第二年的時候，曾極力主張給漢武帝上“廟樂”，這個做法，既是鞏固自己的地位，其實也是示好霍光的表現。畢竟霍光是漢武帝作爲輔政大臣留下來的。漢宣帝提防劉賀，顯然也有示好霍光的意思。因爲劉賀是霍光給廢掉的。要知道，在古代，無論君王多麼昏庸，臣子廢君王，本身就是大逆不道的行爲，是招人詬病的。漢宣帝提防劉賀，其實也就表明了態度，就是霍光做得沒錯。這讓霍光心裏安定了不少。
第二，劉賀是個沒有定性的人。
霍光選了劉賀爲什麼又把他給廢了?有人認爲，是劉賀進京的時候，大肆培植自己的實力，又四處封賞施恩，讓霍光忌憚。所以把劉賀做的那些事，都定性爲幹錯事，因此把他給廢了。但是，如果我們仔細分析霍光所列出的那些錯誤，會發現，這些所謂的錯誤，其實就是一種“無腦”的表現。也就是說，劉賀本人其實並沒有什麼思想，並沒有想要刻意去奪霍光的權，他根本就沒有獨立的判斷和思考。不過，恰恰是因爲沒有獨立的判斷和思考，因此很容易受人影響。這就使得劉賀沒有定性，不可控制。正因爲不可控制，所以霍光才一定要廢了他。
漢宣帝對劉賀的看法，顯然和霍光是一樣的。從監督劉賀的人向漢宣帝反饋的情況我們就可以看出，劉賀確實沒有定性，別人給他說什麼，他就聽什麼。漢宣帝就最擔心這點。儘管劉賀自己沒主張，萬一受人攛掇造反，可怎麼辦呢?
第三，劉賀可能成爲一面旗幟。
劉賀自己沒有本事，也沒有什麼思想。但是，只要劉賀存在，他就可能被別有用心的人利用，畢竟他曾經當過。對漢宣帝不滿的人，肯定是有的。就算漢宣帝做得再好，依然有人不滿他，要造他的反。造反的人，就會以劉賀爲藉口，以劉賀爲旗幟，說劉賀是被冤枉的，是漢宣帝和霍光的陰謀，爲他打，要重新把他推上皇位。這樣的宣傳，對一些人可能不起作用，對另外一些人則可能作用很大。這樣，禍亂就起來了。
所以，提防劉賀，貶謫劉賀，就是避免這樣的麻煩出現。
