倉皇飛臺九旬納妾
1949年12月18日，人民解放軍的隆隆炮聲逼近成都，國民黨妄圖固守大西南的迷夢被粉碎，楊森和四川軍閥孫震一同從成都市鳳凰山機場乘飛機到海口，然後轉飛臺灣。到臺後的第二天，蔣介石接見了楊森，一見面就說：「你保衛反共基地重慶有功，因爲你幾十年剿共的名聲太大，所以我派飛機把你接到臺灣來。當晚設宴給楊森洗塵。
1950年4月，蔣介石委楊森爲臺灣「總統府上將國策顧問」、「戰略顧問委員會戰略顧問」。蔣介石知道楊森愛好體育，1960年又給他安排了「中華全國體育協進會」理事長（後爲名譽理事長）兼臺灣「奧林匹克運動會」理事長；還撥給臺北市長春路225號的日本式花園洋房1幢。小轎車1輛供楊森使用；還派給警衛2人，廚師1人，司機兼勤務員1人；每月發給臺幣1萬元。能有如此結局，主要是田衡秋的功勞。當年楊森不惜萎自枉曲，以堂堂的陸軍上將身份與還是軍統中校祕書的毛人鳳結爲兒女親家。田衡秋以商販世家的眼光巴結毛人鳳，終起作用。毛人鳳遂替楊森說合，將田衡秋三女嫁與蔣介石外甥竺培豐，攀上了姻親。
楊森在臺期間，曾去美國舊金山、洛杉磯、紐約等地旅遊，他參觀了加州體育館、好萊塢、內華達州拉斯維加斯城賭場等，並在報上發表了訪美觀感。楊森以「體協理事會」理事長的身份開展政治的、斂財的活動。臺灣體育協進會（後改爲「中華民國體育協進會」），是一個民間組織，經費靠募捐維持，楊森就以體協的名義向各方募捐、兜攬生意賺錢。爲擴大他在體育方面的影響，他“以身作則”地搞體育活動。他在「體協」理事長任內，以其70歲高齡學會駕駛教練飛機而轟動臺灣。他特別喜歡登山運動，每逢星期日無論天晴下雨都要堅持登山活動，他常登七星山、萬壽山。在他86歲那年還登上了海拔4000米高的玉山。爲表示效忠蔣介石，登上玉山頂時，他高呼：「總統萬壽無疆！」馳名中外的大畫師張大千特爲楊森登玉山作畫，並題詩讚賞。
蔣經國任臺灣「行政院」院長後，以親信黎玉璽換下了年已90歲的「體協」理事長楊森。爲照顧他的面子，給了他「體協」名譽理事長的頭銜。楊森對此很不服氣，他以90歲高齡再次登上玉山頂，並在山頂上題字、照相，一時轟動體育界人士，被認爲是一大奇蹟。臺灣和外國記者爲此撰寫文章，還拍攝了一部楊森的體育運動與家庭生活紀錄片。這樣一來，更擴大了楊森在臺灣體育界的聲譽。
楊森結束官場生涯後，不願居住在臺北市，在臺北縣新店鎮稻子園買了一座山，修建起別墅，在此度晚年。他喜好古玩、字畫，收存各式武器。同時他還愛好寫詩，有收藏手杖的癖好。
1972年2月20日，楊森九十大壽，蔣介石派人在「國防部」三軍軍官俱樂部爲楊森佈置壽堂。楊森喜氣洋洋，尤其是聽說許多人稱他是傳奇式人物，他更爲高興。他說：「我一生過得平凡而實在，如果歲月不會催人老，我將繼續拿出我的力量，爲人生而服務。」蔣介石親書「貞固康強」的壽軸，楊森把它掛於壽堂正中央，以示炫耀。參加祝壽的除了高級軍政人員外，還有「宗親會」、「同鄉會」的各色人物，及楊森在美國的女兒等親友，來賓達三四千人之多。楊森身着棕色條花西服，胸佩一朵大紅花，坐在壽堂正中，神氣十足地接受子孫們的叩拜和來賓們的祝賀。接着擡來一個直徑3尺餘，厚1尺餘的大蛋糕，楊森煞有介事地舉起日本式戰刀，切開蛋糕分送來賓。
就在生日會上，另一四川同鄉，國民黨元老張羣前來拜訪他，楊森嘆息道：「我這個人就是喜歡和年青人在一起，這樣纔有朝氣。」張羣知他又想「一樹梨花壓海棠」的心思，便笑道：「那你再討（娶）一個嗎。」
就這樣，17歲的初中生張靈鳳被楊森以招募“祕書”爲名，娶進府中，成了楊府第“十二釵”。
結婚後，國民黨元老於右任送來一副狂草，「海誓魚龍舞，山盟草木知，」90歲的老人娶了17歲的小姑娘，能說是海誓山盟嗎？不到一年，張靈鳳居然又爲楊森生下最後一女，一時傳爲海內外的奇談。
1977年3月，楊森從菲律賓訪問歸來，被臺北三軍總醫院檢查爲肺癌，兩個月後，96歲的楊森嚥下最後一口氣，結束了漫長的一生。
