在龍山所附近的兩次戰鬥，使戚繼光開始顯露頭角，也使他認清了明軍的弱點：缺乏必要的訓練，戰鬥中畏縮不前。如果不迅速採取措施，訓練出一支強有力的軍隊，就無法取得御倭戰爭的勝利。鑑於此，戚繼光於嘉靖三十五年(1556年)起草了一篇《任臨觀請創立兵營公移》，正式向上司提出了自己的練兵建議。
在這篇《公移》中，戚繼光具體分析了明軍存在的問題，提出了初步的改進辦法。第一是創立兵營。在軍中置備帳篷，準備好行軍用的物資和用具，做到進退無虞，行動自由。第二是選兵。清理現有部衆，裁掉老弱殘，從所轄府、州、縣的民夫、義勇中精選一批新兵。第三是練兵。從所選兵丁中挑出3000名壯士，認真組織訓練，習練武藝，嚴明軍紀，專備本地區截殺、攻擊倭寇用，一切行動聽從督撫、參將的指揮。《公移》遞上去了，但上司根本不予理睬。戚繼光並沒有泄氣，嘉靖三十六年(1557年)二月再次提出練兵的建議，並作出“誠得浙士三千，親行訓練，比及三年，足堪禦敵”(《戚少保年譜耆編》卷一。)的保證。當時的浙直總督胡宗憲並不重視，他不相信能練成戚繼光所設想的那樣的軍隊。因此直至冬季，才把曹天佑部下的3000士兵撥給戚繼光訓練。這樣，戚繼光帶領這3000士兵，一邊訓練，一邊作戰。訓練開始不久，就打響了圍剿倭寇最大巢穴之一的岑港戰役。
岑港位於舟山島的西部，地形極爲複雜，易守難攻，因此倭寇長期以岑港爲根據地，四出搶掠。嘉靖三十七年(1558年)春，在胡宗憲的指揮下，各路兵馬向岑港進發。戚繼光率本部軍兵由左路進擊。這場戰鬥一開始就十分激烈，倭寇居高臨下，據險死守，雙方死傷都很嚴重。不久，大批新倭又乘春汛趕來，倭寇聲勢更大。到了四月，戰鬥仍處於膠着狀態。這時台州沿海又有大批倭寇登陸，胡宗憲命令戚繼光馳援台州。下旬，戚繼光遂督所部，從舟山渡海前往台州。不久，探馬來報，倭寇已移至溫州。戚繼光又率衆晝夜兼程，直奔溫州。途中得到倭寇在盤石衛的烏牛一帶大肆燒殺搶掠的消息，他便兵分三路，自率中路，猛撲烏牛山。自晨至午，五戰五勝，倭寇四散奔逃。
五月初，又有倭寇4000餘人，乘船80餘艘，屯泊於烏牛、館頭，四處搶掠。戚繼光率軍迎戰，兩創敵兵。不久，又有倭船40多艘從龍灣方向駛來，欲圖盤石，見明軍雄威，轉而屯泊在大崎山、黃華一帶。隨後，屯泊在烏牛、館頭的倭寇，組成百艘聯舟，駛往海上搶劫。戚繼光組織水陸兩軍追擊倭寇。倭寇抵擋不住，乘小船倉惶奔逃，並以大福蒼船掩護撤退。明軍追擊至小崎山下，戚繼光張弓射倒倭船舵工，部下劉意又射死了倭船櫓手。這樣舵櫓皆歇，敵船隻能在海上打轉，倭寇手忙腳亂。明軍乘勢四面環擊，放火燒船，所有大小倭船全被焚燬，倭寇被射死、溺死、燒死上千人。明軍大獲全勝。大崎山、黃華等處倭寇“不敢回顧，遠遁大洋，開帆而去”(《戚少保年譜耆編》卷一。)。
秋天，戚繼光又被調回岑港戰場。岑港被圍已半年多，一時仍難以攻下。朝廷以岑港久攻不克，將俞大猷、戚繼光等革職留任，戴罪殺敵，並限一月內必須攻取岑港。戚繼光等率衆捨身忘死，奮勇衝殺，拒守岑港的倭寇終於抵擋不住，放火燒寨，狼狽逃竄。
嘉靖三十八年(1559年)三月，倭寇300餘犯寧波金墩，戚繼光率軍迎戰，松浦、鑑溪兩戰皆捷，倭寇消滅殆盡。值春夏之交，倭寇大舉侵犯浙江沿海，數千倭寇在溫州、台州兩處登陸，警報頻傳。戚繼光奉命率兵從寧波出發，多次擊敗所遇之倭，在前後兩個多月的時間裏，一舉摧毀了柵浦、桃渚、海遊三個重要的倭寇巢穴。僅海門衛附近一戰，即燒死、溺死倭寇一千多人。到六月下旬，侵擾台州、溫州的倭寇大部被消滅，殘餘部分也被驅逐出海。戚繼光奮顯神威，已經成爲遠近聞名的勇將了。
