沈之嶽年輕時曾加入中共在上海的地下組織，並化名李國棟(一說化名沈輝)，經西安到延安，進入中共紅軍大學，畢業後成爲中共中央政治局的祕書，所以有沈之嶽曾任毛澤東祕書之說。沈之嶽後隨葉挺赴皖南收編新四軍，直至新四軍被國民黨反動派襲擊並屠殺，沈之嶽轉至戴笠系統的軍統局、擔任東南特偵站站長。
沈之嶽赴臺後，初任司法行政部調查局副局長，之後調任國防部情報局副局長及國民黨中央第二組副主任，後擢任調查局局長。國民黨保密局大陳島站站長沈之嶽派遣特務潛入大陸成功，偷拍了幾張奉化、溪口的照片獻給蔣介石，蔣介石大悅，沈之嶽被提升爲司法調查局長。
1951年9月，國民黨當局成立浙江人民反共遊共總指揮部於大陳島，以胡宗南(化名秦東昌)任總指揮兼浙江省政府主席，沈之嶽(化名王明)爲政治部主任兼政務處長。
1963年，他以情報局副局長的身份潛入澳門，執行指揮暗殺劉少奇的行動。當年劉少奇出訪柬埔寨，情報局下達暗殺任務;從金邊機場到皇宮，即劉少奇預定的下榻處，只有一條公路，路基很高，兩側都是民宅，情報局於是透過管道租到一處民宅，再挖地洞到公路下面，埋好炸藥，等劉少奇車隊經過時引爆。但一場傾盆大雨，將本就不結實的路基沖塌，挖洞埋炸藥的那段更是整體下陷，計劃最終敗露，這起暗殺劉少奇計劃，現仍列永久機密，存放軍情局檔案中。
1963年4月20日，沈之嶽潛至澳門，部署對大陸的行動破壞。當時沈之嶽化名孫子超，在澳門新新酒店、同盟酒店各開一個房間，實際上住在中二組澳門特一組的駐地。相關資料表明，沈之嶽行蹤被大陸完全掌握，華南辦事處將資料直送北京。當時，大陸高層曾考慮將沈之嶽從澳門捉拿來歸案，給蔣介石父子以顏色看看，後後採取較緩和的做法，由公安部通過外交途徑，通知澳葡當局，澳葡當局逮捕了一批特務，將沈之嶽驅逐回臺灣。沈之嶽因此受到撤職查辦的處分。
1964年，沈之嶽在蔣經國的極力推薦下，出任調查局局長，一手建立了調查局的制度，並培育大量有別於軍統、中統的高素質新時代特務，規定調查局幹員必須有大專以上學歷、最好能通一、二種外語等等。
沈之嶽被臺灣尊稱爲調查局之父;他指揮過國民黨特務在非洲抓捕叛徒;他主持粉碎了在日本的臺灣共和國臨時政府，讓臺獨分子恨之入骨;他逮捕過李登輝;他迫降過辜寬敏;他審問過李敖，李敖反而寫書誇他;
他外貌和藹可親，卻被形容作人面獸心;他善於理財卻分文不取，一生兩袖清風;他娶了出身傘兵飛虎部隊背景的京劇名伶。
他晚年到大陸治病，據說鄧小平、胡耀邦親往探視;他被懷疑爲共產黨在臺灣至死未被發現的兩大臥底之一。
沈之嶽1994年2月病死於臺北。
