放下行裝，劉峙急不可耐地去拜見蔣介石，要“彙報工作”。豈知見面之時，蔣介石不容他開口，劈頭蓋臉就是一通臭罵。好在劉峙瞭解蔣介石的秉性，知道他罵過以後就會風平浪靜的。況且，他在大陸時期就已養成標準的奴才德性，可以立正恭聽“領袖”責罵，不管蔣介石罵多久，不管罵什麼，劉峙一律唯唯稱是，而且可以保持立正的姿式一動不動。這一次，年近七旬的蔣介石體力已不比當年在大陸時期，罵了一會兒便感到疲倦了，只好住口，吩咐劉峙回去後好自反省。
劉峙從“總統府”退出來後，心情反倒舒暢起來。他憑以往的經驗斷定，蔣介石對他這頓痛罵，就算把過去種種舊賬一筆勾銷了。果然，一個月後，“總統府”派人給劉峙送來了“總統府國策顧問”的大紅聘書。1954年2月，劉峙出席“第一屆國民大會”第二次會議，再度當選爲大會主席團主席，10月還受聘爲“行政院光復大陸設計研究委員會”委員。因爲有流落爪哇當“猢猻王”的履歷，劉還在“光委會”裏兼國際關係僑務組召集人，這個頭銜，又成爲臺灣人飯後茶餘的新笑料。這些官職雖然都是虛職，沒有什麼實權，但“車馬費”還是不少的，可保生活無虞。劉峙有了在海外漂泊受苦的經歷，對這一結局已感相當滿意。1960年2月，劉峙出席“第一屆國民大會第三次會議”，仍當選爲大會主席，1966年“國民大會”也是一樣，1967年兼任“行政院光復大陸設計研究委員會”臺中區主任直到去世。
劉峙回到臺灣後，定居於臺中市，妻子黃佩芬任教職於省立臺中女子中學。劉峙五十多年未出國門一步，除了1950年至1953年冬，在印尼僑校教書時曾到一些地方遊覽一番外，再無其他遊歷。而來臺之後，在極平淡和寂寞的生活中，又度過了自認爲是毫無生命價值的八載，進入了人生古稀的階段。人到晚年本應心情閒散恬淡，然而劉峙自覺生活圈子太小了，靜極思動，欲作遠遊，限於經濟條件，只是幻想而已。不料糖尿病日趨惡化，心臟也發現有問題，便想趁早到美國去檢查身體，並看看新大陸的繁華。於是劉峙在得到復興公司董事長周兆棠，以及胡宗南、黃傑、羅列、劉安祺幾位黃埔軍校時的學生的資助，終於遂了平生“壯遊”的心願。1961年9月10日，劉峙和妻子黃佩芬由高雄港登上覆平號貨輪，起碇赴美。船行至赴美的第一站神戶停泊，因其在日本有一段時間停留，而後再由橫濱起碇繼續赴美的航程，劉峙及夫人便趁此機會由神戶登陸，經大阪到東京候船，藉此觀光。劉峙在東京車站得到商起予上將、馬晉三中將及臺灣駐日本“使館”參事熊質傅的迎接。劉峙與商起予相別已十數年了，如今在異國老友相聚，二人嗟嘆不已。劉峙在日本各處逗留了12天，在此期間受到臺灣駐日本使館參事張厲生的盛筵款待，得到馬崇六中將的按摩治療。復平輪於9月28日再次啓航，至10月13日晨，到達美國西海岸的洛杉磯港外。
在美國，劉峙夫婦先後遊歷了洛杉磯、舊金山、紐約、波士頓、華盛頓、芝加哥等地，這期間在紐約的外甥女婿宓寧家中住了月餘。12月30日乘復康輪啓碇離開波特蘭港返航。這一次遊美，從西海岸的洛杉磯登陸，從舊金山橫貫新大陸，到東海岸的紐約，然後又從紐約經芝加哥，回到西海岸，由波特蘭返臺，劉峙的遊蹤在新大陸劃了一個V字形。他總算是遂了心願，自覺大開眼界，深有感觸。
劉峙“居恆好讀書，無日不寫日記”，在開封綏靖公署時，空暇之餘，常請熊哲（後爲臺灣國立政治大學教授）爲之講解古籍，書法也勁猷有力。劉峙喜歡辦教育，1931年在吉安原籍創辦“扶園”學校一所（包括中小學），直到解放後才停辦，歷時近二十年。在開封創辦“扶豫小學、贛聲中學、黎明中學、中州中學、
中國中學、中正中學及靜宜女中等校，在重慶也曾創設中學，均是斥私資經營，以上各校培育的學生不下萬人。劉峙晚年回憶起自幼立的三大願望，即是：（1）創辦由小學到大學的大規模學校一所，以最佳教育方法，爲國家造就人才。（2）設置一個大圖書館，古今中外書籍齊備，爲大衆增進知識，並便利有志者進修，促進國家文化發展。（3）開設大醫院，爲貧苦無告者，解除疾苦。然而除第一項曾經創辦到中學爲止外，其餘兩項，等於自己說謊。種種憧憬，均成幻影，浩嘆不已！
劉峙閒暇時回憶往事，且憶且述，數年後居然整理出一部《我的回憶》。因沒錢出版，劉峙的這本回憶錄先以油印本形式在昔日同僚、部下中傳閱，後被出版商相中，才得以正式出版。
1962年，與他在印尼落魄患難的妻子黃佩芬因病去世，這件事對年邁的劉峙是一個沉重的打擊。從此後他益加落落寡歡，在寂寞孤單中消磨歲月。劉峙身體狀況向來不錯，不吸菸、不飲酒，早晚不懈運動，只是中年患有糖尿病及輕微心臟病，服藥未能根治，1970年夏中風，半身不遂，住院半年養病，終告不治，1971年1月15日，劉峙病逝於臺中。
