1979年2月17日，對越自衛反擊戰打響，時任127師師長的張萬年歸屬廣州軍區司令員許世友指揮。127師號稱鐵軍師，它的源頭源頭來自葉挺獨立團和秋收起義部分武裝力量組成的中國工農紅軍第四軍。毛澤東三灣改編，就是在這支部隊的“紅一連”試點把支部建在連上，井岡山斗爭又在“紅二連”抓了“三大紀律六項注意”，朱德、彭德懷和林彪等五位元帥、粟裕等七位大將和330多位將軍都出身該部隊。
許世友給127師安排的任務是牽制性進攻：按計劃，張萬年所部將負責進攻支馬和龍頭地區，打通通往祿平的口子，從側翼保護55軍進攻諒山。然而在戰鬥打響後，127師卻成了進攻的尖刀，他們僅用一天時間就打趴了支馬地區的越軍。這個結果令越軍上下大為震驚，他們原計劃是要在這裡守半年的。戰鬥結束後，越軍就派出了情報人員，他們急於要弄清楚自己的對手究竟是個什麼樣的人。
儘管初戰告捷，但張萬年卻並不滿足。此後他又率127師攻下了越軍重兵佈防的祿平縣城。當張萬年率部進入縣城的時候，迎接他的是街道兩側貼滿的標語，上面寫著“打垮一二七，活捉張萬年”。張萬年看著標語哈哈大笑，他對身邊的參謀說：“越南軍人興師動眾進行這樣的戰前動員，雖然打輸了，但情報還是準確的，我們應該尊重他們。”
兩次慘敗之後，越軍終於意識到在正面戰場無論如何是活捉不了張萬年了。於是他們就派出了特工行刺，想以此瓦解127師的指揮。2月28日晚3名越軍特工順著一條水溝，摸到了張萬年臨時設立的師指揮部。但張萬年深知越軍作戰特點，他安排警衛部隊設定了交叉崗哨，越軍特工一露頭就被發現，當場擊斃1人，另2人逃跑。
這次暗殺失敗後，越軍並不死心。又在3月4日清晨派出特工在奇窮河邊附近摸到了張萬年的指揮車，一陣激烈的槍聲後，車上打了16個彈洞，譯電員被打死。越方大喜過望，隨後廣播說：127師指揮部已經被消滅，還活捉了張萬年。一時之間弄得43軍軍長褚傳禹也真假難辨，他向127師指揮部打電話詢問，恰巧張萬年不在，這就更加重了他的疑慮。
不久後張萬年回來了，褚傳禹竟然在電話連問兩次他是不是真的張萬年，搞得張萬年哭笑不得。原來在越軍特工偷襲的時候，張萬年恰好去奇窮河邊溜達，思考渡河之計，才得以躲過一劫。儘管如此張萬年還是受到了軍長褚傳禹的批評，因為他把指揮所放在距前沿只有100米的地方，違反了條令。此後張萬年率部南渡奇窮河，攻佔迷邁山，和55軍形成了對河內的夾擊。不久後中央軍委下達了撤軍命令，張萬年和127師回到了國內，此後他的職務一步步提升並在1995年擔任了中央軍委副主席。
