“四人幫”被拘捕後，上海的“四人幫”餘黨企圖發動武裝暴亂。於是，清除“四人幫”餘孽，解除上海的“第二武裝”，成爲黨中央必須立即着手解決的頭等大事。在這樣的背景下，海軍上將蘇振華臨危受命，祕密進駐上海。
蘇、倪、彭三人臨危受命
粉碎“四人幫”的第二天，即1976年10月7日，中央政治局召開有上海、江蘇、山東、湖北4省市和南京、武漢、濟南3軍區負責人蔘加的第一批打招呼會議，上海市參加的是市委書記、市革委會副主任馬天水和市委書記、上海警備區司令周純麟。出席這次打招呼會議的中央領導有華國鋒、葉劍英、李先念、汪東興、陳錫聯、蘇振華、倪志福。
與會人員對中央除掉“四害”的果斷措施表示完全擁護。只有馬天水如聞晴天霹靂，竟斗膽提出：4位領導是不是篡黨奪權?爲什麼一定要抓起來隔離審查?甚至還要求見見他們，希望中央寬大處理他們……他回到住地後，竟還憤憤不平地上書中央，表示對解決“四人幫”強烈不滿，指責中央是“搞突然襲擊”、“宮廷政變”，是“修正主義上臺”。
對中央來說，目前最大的問題就是防止上海發生武裝暴亂。“四人幫”搞武裝叛亂並不是危言聳聽。早在1975年8月，“四人幫”的核心成員王洪文就曾在上海多次說“要警惕修正主義上臺”，“要準備打游擊”、“打巷戰”，公開建立了直接受他們領導的“上海市民兵指揮部”。王洪文安插親信王秀珍、陳阿大、葉昌明、黃金海等當頭頭，使民兵成了名副其實獨立於解放軍之外的“第二武裝”。在發出毛主席病危通知後的第二天，他們就通知馬天水把庫存的幾十萬支槍發到基層民兵手裏，隨時待命。
爲了避免上海出現武裝暴亂，徹底粉碎“四人幫”在上海的幫派體系，中央政治局作出立即派出中央工作組接管上海的重要決定。誰能擔此重任?早已胸有成竹的葉劍英元帥舉薦說:“要派一位無論在軍隊和地方都能壓得住臺的老同志去。我看蘇振華同志堪當此任。他資格老，被林彪、‘四人幫’整得很慘，而且他很堅決，在粉碎‘四人幫’的緊急時刻，起了重要作用。上海有海軍東海艦隊的基地，工作起來有方便條件。蘇振華同志去上海，我看最合適。”
葉帥的提議得到陳錫聯、李先念、華國鋒等其他政治局委員的一致贊同。最後形成了決議，以蘇振華、倪志福、彭衝三人爲領導核心，成立接管上海的中央工作小組，並要求工作組儘早出發。
形勢嚴峻 蘇振華祕密進駐上海
中央一舉粉碎“四人幫”的消息傳到上海，猶如一石激起千層浪，長期受“四人幫”及其餘黨壓制的人民羣衆連日自發走向街頭，熱烈擁護黨中央對“四人幫”採取的果斷措施，要求徹底清算“四人幫”及其在上海餘黨的滔天罪行。
但另一方面，形勢仍十分嚴峻。“文革”中出現的一些造反派頭頭，乘機拉隊伍，搞串聯，試圖東山再起。不少流氓、地痞混在羣衆隊伍中搞打砸搶，企圖製造混亂。特別是馬、徐、王返滬後，藉機向中央施加壓力，他們於10月15日、19日連續兩次向中央發出告急電話，話中有軟有硬，宣稱由於羣衆的自發活動使市委機構已經癱瘓，表示將採取堅決措施予以鎮壓，流露出挑起羣衆鬥羣衆的動向，企圖以此扭轉揭批“四人幫”鬥爭的大方向。
中央把他們發出的兩個電話記錄轉交給了當時正整裝待發的工作組。蘇振華看後一針見血地指出，這是給中央出難題，施加壓力，試圖搞所謂“合法鬥爭”的陰謀。建議中央辦公廳答覆馬、徐、王3人，要他們不得挑起羣衆鬥羣衆，更不得使用武力鎮壓羣衆。10月20日深夜，由中央辦公廳正式通知馬天水、徐景賢、王秀珍，告知由蘇振華、倪志福、彭衝領導的中央工作組已經到達上海。這時，馬天水才醒悟：上海警備處所報“天黑時北京來了一架專機被海軍車隊接走”，原來那是中央工作組到了上海!這一通知讓馬、徐、王3人頓時如五雷轟頂。
部隊進入戰備狀態震懾頑固分子
爲防不測，蘇振華特地把南京軍區政委廖漢生請到了上海，隨行人員是南京軍區副參謀長張挺。蘇振華對他們說，鑑於“四人幫”在上海的餘黨賊心不死，所發槍支尚未完全收回，動用武力的險情依然存在，請南京軍區繼續加強戒備，特別在蘇、浙一線，部隊一定要保持高度警惕。
廖漢生政委當即決定張挺副參謀長留在上海，抽調人員進駐上海警備區，駐滬部隊進入戰備狀態。蘇振華請廖漢生警告上海警備區少數幾個人必須懸崖勒馬，立即停止任何非法活動。對其中的頑固分子施以強大的政治心理壓力，使他們噤若寒蟬，同時調動部隊嚴加防範，迫使他們的走卒聞之退避三舍，不敢輕舉妄動。
射人先射馬，擒賊先擒王。一連數日，蘇振華、倪志福、彭衝在錦江飯店親自坐陣，召開上海市委常委會，規定原市委書記馬天水、徐景賢、王秀珍和常委張敬標、馮國柱等人必須參加，自己交代、互相揭發有關發動武裝叛亂的問題。馬、徐、王3人能瞞則瞞，能推則推，準備繼續負隅頑抗。
蘇振華果斷決定採取組織措施，將參與武裝叛亂拒不交代、民憤極大的原上海市委7個常委交上海警備區監護，實行隔離審查;對有所交代，但罪行深重的陳阿大等6人送回原單位監護，專案審查。“四人幫”上海餘黨的核心集團就此徹底土崩瓦解。
後來，在審判“四人幫”時，法庭出具的各種證據材料有三分之一是上海提供的。主持審判工作的彭真同志曾說：“上海的清查工作最徹底，沒有上海的清查，對‘四人幫’的審判就無法進行。
