1924年，胡佛就任局長。後來，時任總統羅斯福繞過當時的司法部長，單獨召見胡佛，要求FBI蒐集共產黨和法西斯分子在美國活動的情報，並默許他使用“特殊手段”。
此後，胡佛爲獲取情報開始不擇手段。當美國最高法庭裁定電話竊聽爲非法時，羅斯福私下對胡佛說：“讓法院見鬼去吧!”
其實胡佛對羅斯福根本算不上忠心。他非常討厭“自由派”，而羅斯福用的人幾乎都是“自由派”。胡佛還認爲羅斯福有“變態的帝王思想”。儘管表面上對羅斯福畢恭畢敬，私底下卻從不放過攻擊他的機會。
但羅斯福爲了保護自己的權力，對付來自左翼、極右勢力、法西斯勢力的重重挑戰，需要藉助胡佛的特務手段，所以對胡佛的陽奉陰違雖惱火，卻沒有表現出來。在總統的縱容下，FBI越來越肆無忌憚，把觸角伸向各個行業，積累的祕密檔案也越來越多。
在羅斯福之後，不少美國總統都對FBI的巨大權力憂心忡忡。杜魯門總統曾公開表示擔心FBI會成爲“美國的蓋世太保”;肯尼迪總統則知道胡佛手裏有他與某女的性愛錄像帶，因此十分同意手下的觀點：胡佛“簡直就是陰溝”─專門收集和傳播髒東西。
在胡佛統治FBI的近半個世紀裏，1948年大選是他唯一一次被美國選民“戲弄”。
那一年，美國在任總統杜魯門同共和黨人杜威展開角逐，公衆普遍認爲杜威會擊敗杜魯門，這也是胡佛所希望的。杜威是頑固的保守主義者，也主張使用強力手段打擊犯罪。由於在國家安全方面觀點一致，胡佛一直在幕後積極支持杜威。
1948年秋，胡佛似乎已經爲“後杜魯門時代”做好了準備，他不再聽從杜魯門的命令，在執法和情報領域大權獨攬。杜魯門當時看來已無能爲力，政治上的影響力也消耗殆盡。
大選前，《新聞週刊》雜誌請了美國50名最有影響力的政治記者做預測，大家一致認爲杜威能勝出。因此，選舉前夜，胡佛安然入睡。但後來的新聞讓世人大吃一驚：杜魯門擊敗了杜威。聽到這個消息後，胡佛整整消失了兩週。
1963年11月，肯尼迪總統遇刺身亡，副總統約翰遜繼任。胡佛與約翰遜是鄰居，兩人經常在一塊兒吃烤肉、喝威士忌。和羅斯福一樣，約翰遜喜歡祕密情報，兩人都擔心肯尼迪的弟弟羅伯特會上臺。
羅伯特是胡佛的頂頭上司，但胡佛卻十分討厭他，不向他提供情報，讓他沒有機會領導民主黨。與此同時，他利用FBI的資源幫約翰遜積累政治資本，爲約翰遜在1964年贏得大選鋪路。
當時約翰遜正不遺餘力地推動民權立法，幫助美國黑人獲得選舉權，但“三K黨”成了他的一大障礙，不但殺害民權工作人員，還炸燬黑人教堂，在南部實行恐怖統治。約翰遜命令胡佛去對付“三K黨”，胡佛沒有讓他失望。
隨後約翰遜主張的民權法案順利在國會通過，並在緊隨其後的大選中，以壓倒性優勢贏得連任。在任期結束前，約翰遜把自己的執政祕密告訴繼任者尼克松：“如果沒有胡佛，我根本無法行使總司令的職責!”
但胡佛沒能庇護得了尼克松。胡佛去世不久，就發生了“水門事件”：尼克松的心腹因潛入民主黨全國委員會辦公室搞竊聽而被捕，FBI很快查明瞭該行動的負責人是爲尼克松工作。
當時FBI負責此案的人接到白宮辦公室主任打來的電話，說總統指示，對水門飯店事件的調查必須立刻中止，卻遭到堅決拒絕。兩年後，尼克松灰頭土臉地辭職了。
