嘉靖三十五年(1556)，戚繼光以參將職守寧波、紹興、台州三府。是年秋，倭寇龍山，大掠鄉民，戚繼光先後與參將盧鏜、俞大猷等協同作戰。龍山初戰，兵多怯陣，戚繼光身先士卒，以“擒賊先擒王”、“三箭射三酋”,威退倭兵。龍山三戰三捷，戚繼光嶄露頭角，威名三軍。戰後，戚繼光針對明軍在龍山作戰中暴露出的軍令不行、鬆散怯陣的弱點，向上司提出了旨在提高軍隊素質的《練兵議》。在遭之冷遇後，戚繼光再次向胡宗憲條陳練兵強兵之策，並保證“誠得浙士三千，親行訓練，比及三年，足堪禦敵，可省客兵歲費數倍。”幾經周折拖延，終於三十六年(1557年)冬獲准練兵計劃。然時隔不久，岑港之戰拉開了序幕。
之前，即是年秋九月，王直擁衆據岑港。王直即汪直，嘉靖中向以走私違禁之貨，與日本、暹羅等國互市，爲夷人信服，稱之五峯船主。王直勾引島夷門多郎，結夥亡命徐海等，往來海上搶掠，屢禁不止。三十一年，王直遣人叩關求市，因不許，即率衆頻入內地紛肆寇掠，據泊岑港。參將俞大猷驅舟師圍剿，王直突圍遠遁日本浦津，自稱“日徽王”。自此，時時遣島夷入寇，濱海千里，鹹遭荼毒。因之，王直遂成之明軍殲剿對象。三十四年十二月胡宗憲命蔣洲、陳可願抵日本五島，以求貢互市撫誘王直出比豐島。時，日太守源義鎮派日僧德陽爲使，隨蔣洲求貢中國。三十六年五月，蔣洲與德陽先至浙境，因無勘令表暫棲石牛港以待王直。是月二十五日，王直抵達舟山，率衆列泊岑港，意指莫測。舟山人聞之，人心震駭，鹹思避之。其時，先立“封侯非我意，但願海波平”報國之志的戚繼光對其夫人王氏說：“吾封疆之臣，分必死綏，汝涉居郡城，毋爲賊辱。”王氏乃深明大義之人，決意與戚以死相隨，遂曰：“君能爲忠臣，妾獨不能爲烈婦乎?”終未徙。十一月，王直“統諸倭據舟山岑港，志在互市”。胡宗憲撫剿並舉，施巧計以擒王直。一面以應諾互市，並先後遣方大忠、夏正勸降，一面又令各路兵馬進兵，督兵出馬目斷其後，同時密調戚繼光、俞大猷、張四維，布兵數匝於水陸要衝。慮於重兵包圍，王直出降。
平定王直，毛烈(王滶，即毛海峯，王直養子)復擁衆盤踞岑港，聲言爲王直報仇雪恨。三十七年正月，倭盜意將合盟謀攻。巡海道惴慮倭盜合謀，難以抵禦，遂會商戚繼光，催德陽等開洋歸國。二月三日，倭僧從伴吳四郎等30餘人，各持刃至舟山城下，欲見繼光。繼光命其去刃卸械，不從，遂不予納見。隨之出示督府撫諭，令諸倭翌日歸國。吳四郎等8人憤然登舟，挾張四維，又令從倭急報岑港，糾集500餘人，由舟山西高嶺而來。四維情急，督家丁擊斃數倭，幸而脫險。由是倭僧貢船聚集岑港，與毛烈等共拒明軍。
三十七年春二月，胡宗憲調兵遣將，令各路兵馬圍剿岑港倭寇。戚繼光奉命由左路進擊，其餘諸將或進泊港南、港北，或由中路進攻，俞大猷往來策應(見民國《定海縣誌》)。
岑港位於舟山之西，其地山嶺逶迤，山徑崎嶇狹隘，嶴口衆多，地形複雜，易守難攻。倭寇居高臨下，據險死守。戚繼光等率部奮勇作戰，“蹂屍而進”。爲阻止明軍進攻，毛烈諸寇事先“絕塞諸道，止通一徑，隘險難行”，明軍於隘道“魚貫而入”，然“行將盡，賊兵自尾擊之，我軍大潰，死者過半。”三月，風雨交加，山水驟發，溪澗涌溢，倭盜“于山之高塹處，相其堤者堤之，後官兵進擊，決而注之，兵多漂死”。而倭盜死傷也數不勝數。正當兩軍激戰、難分勝負之際，大批新倭又乘春訊接踵而至。先是“泊普陀小道頭”，繼而又“竄沈家門與岑港賊合”。新舊倭盜匯而爲一，其勢大張。
岑港未克，溫臺又起烽火。是年夏四月，倭寇溫臺，戚繼光奉命率部於二十三日“自舟山渡海”，“馳援臺城”，而“捷於烏牛”，夏五月，諸倭“再寇溫州”，戚繼光疾馳救援，“復捷於烏牛之小崎”。三十七年春夏之交，浙江、福建各地倭患頻起，明軍分兵進剿，疲於奔命，而於岑港只能是圍而御之(見《戚少保年譜耆編》)。
秋七月，爲清剿岑港倭寇，戚繼光又奉命調至岑港戰場(《戚繼光大事年表》)。朝延以岑港久困不克，遂將戚繼光、俞大猷等革職留用，戴罪殺敵，限期一月內克平岑港。《沿海倭亂》載：“秋七月，以浙江岑港海寇未平，詔奪俞大猷、參將戚繼光職，期一月蕩平，命胡宗憲督之。”胡宗憲奉旨親蒞定海，分遣將領，刻期大舉進擊。毛烈等“依山阻水列柵”，固守其寨，利用頗多火器阻擊明軍。俞大猷、戚繼光等諸將率部捨生忘死，冒險挺進，雖“陷陣先登者間多被害”，仍冒死強攻，官兵“逼壘而陳”，“更番迭戰”，“折其銳氣”，又施計惑敵“互相猜疑至持刀自擊”，乘隙進攻。衆寇大亂，死者無算，夜間遂縱火焚其舟，餘寇多奔其巢，官兵躡蹤，砍柵直入，暫首百餘，其餘倭冠遂亡命柯梅嶺。
冬十月，岑港倭盜潰退移巢柯梅後，胡宗憲屢督兵討之，仍未克平。是月，郎中唐順之奉旨視師浙江，與胡宗憲協謀剿倭。十一月十三日，柯梅倭盜出海，俞大猷、戚繼光等率舟師自沈家門攔擊，乘勝追擊，直搗其巢，倭盜遂揚帆南去。事後，胡宗憲上言道：“舟山殘孽，移往柯梅，即其焚巢夜徙”，南奔閩廣。
冬十二月，戚繼光“督兵清岑港”，並“獲白猿白鹿以獻。”表略雲：“……聯臂仙威，頓使犬孤伏命。犄角制勝，全驅豺虎投荒。”(《戚少保年譜耆編》))
戚繼光以岑港初戰不克而奪職，也終以岑港之役大捷與平定王直而復職。
