克格勃歷史上最有影響力的領導人是安德羅波夫和貝利亞，安德羅波夫最後擔任了蘇聯的最高領導人，而貝利亞在權力鬥爭中失敗，被赫魯曉夫以叛國的罪名處死。
費利克斯·埃德蒙多維奇·捷爾任斯基(Feliks Edmundovich Dzerzhinski)1917-1926
維亞切斯拉夫·魯道福維奇·緬因斯基/明仁斯基1926-1934年
亨利希·格利戈裏耶維奇·亞戈達(又譯作亨裏希·格里戈裏耶維奇·雅果達、雅戈達，英語：Genrikh Grigoryevich Yagoda)1934-1936年
尼古拉·伊萬諾維奇·葉若夫1936-1938年
拉夫連季·帕夫洛維奇·貝利亞1938-1941年
弗謝沃洛德·尼古拉耶維奇·梅爾庫洛夫1941年(2-7月)
拉夫連季·帕夫洛維奇·貝利亞1941-1943年
弗謝沃洛德·尼古拉耶維奇·梅爾庫羅夫 1943-1946年
維克托·謝苗諾維奇·阿巴庫莫夫1946-1951年
謝爾蓋·伊萬諾維奇·奧戈利佐夫 1951年(8-12月)
謝苗·傑尼索維奇·伊格納季耶夫1951-1953年
拉夫連季·帕夫洛維奇·貝利亞1953年(3-6月)
謝爾蓋·尼基福羅維奇·科魯格洛夫1953-1954年
伊萬·亞歷山德羅維奇·謝羅夫1954-1958年
亞歷山大·尼古拉耶維奇·謝列平1958-1961年
弗拉基米爾·葉菲莫維奇·謝米恰斯內1961—1967年
尤里·佛拉基米羅維奇·安德羅波夫 1967-1982年
維塔利·瓦西裏耶維奇·費多爾丘克1982年(5-12月)
維克托·米哈伊洛維奇·切布里科夫1982-1988年
弗拉基米爾·亞歷山德羅維奇·克留奇科夫1988-1991年
瓦季姆·維克托羅維奇·巴卡京1991年8月-11月
克格勃第一總局(對外情報總局)歷任領導
米哈伊爾·阿布拉莫維奇·特里利瑟爾1921-1929年
阿爾圖爾·赫里斯季安諾維奇·阿爾圖佐夫1929—1934年
阿布拉姆·阿羅諾維奇·斯盧茨基1934-1938年
米哈伊爾·施皮格爾格拉斯1938年(2-7月)
弗拉基米爾·格奧爾吉耶維奇·傑卡諾佐夫1938-1940年
帕維爾·米哈伊洛維奇·菲京1940-1946年
彼得·瓦西裏耶維奇·費多托夫1946-1949年
謝爾蓋·羅曼諾維奇·薩夫琴科1949-1953年
瓦西里·斯捷潘諾維奇·里亞斯諾伊1953年(3-6月)
亞里山大·謝苗諾維奇·帕紐什金1953-1956年
亞里山大·米哈伊洛維奇·薩哈羅夫斯基1956-1971年
費奧多爾康斯坦丁諾維奇·莫爾京1971-1974年
弗拉基米爾·亞歷山德羅維奇·克留奇科夫1974—1988年
列昂尼德·弗拉基米羅維奇·舍巴爾申1988年-1991年
1998年被任命爲俄羅斯聯邦總統辦公廳副主任兼俄羅斯聯邦總統監察局局長;1998年10月任俄羅斯聯邦安全局副局長兼經濟安全局局長;1999年任俄羅斯聯邦安全局第一副局長;1999年8月9日根據俄羅斯聯邦總統令被任命爲俄羅斯聯邦安全局局長;大將軍銜，法學博士，俄羅斯英雄。2008年5月12日俄羅斯總統梅德韋傑夫簽署總統令任命原聯邦安全局副局長巴爾特尼科夫爲聯邦安全局局長，原聯邦安全局局長帕特魯舍夫改任聯邦安全會議祕書。
