由於指揮上的失誤，中國遠征軍第一次入緬作戰以失敗告終。4月30日，遠征軍長官部從瑞保撤至甘勃盧，集結於曼德勒地區的遠征軍各部均於當夜前轉移至伊洛瓦底江西岸。5月1日，曼德勒爲日軍佔領。
從東線包抄的日軍第56師團先頭部隊5月5日到達怒江西岸惠通橋附近。日軍第56師團搜索聯隊4月30日從臘戍出發，沿途擊退新29師在新維、貴街的堅強抵抗，5月3日攻佔畹町，是夜復佔八莫，8日再佔密支那。中國遠征軍撤回國境的另一條主要通道被完全切斷。
由於形勢急轉直下，東路日軍已突進至遠征軍主力左側後。5月6日，長官部得知畹町、龍陵等地已經失守(當時因部隊尚在移動之中，通信不暢，尚不知八莫失守及日軍已抵怒江)，認爲再按原定計劃撤退，將極爲困難，因而史迪威和羅卓英決定將沿鐵路兩側向密支那撤退的第5軍等部隊改爲向印度撤退，因此連續兩次電令第5軍。
據估計，這時在緬甸的遠征軍主力尚有第5軍軍直15000人、下屬新編第22師6000餘人、第200師7000人、第96師5000餘人，以及第66軍的新編第38師7000餘人(杜聿明回憶錄數據有所不同)。但杜聿明出於對史迪威的惡感，不願退入印度，仍希望率部返回國內。經向蔣介石請示，蔣同意仍由密支那方向撤至騰衝。第5軍遂按原計劃向密支那方向轉移。遠征軍司令部於7日開始從曼西撤退。史迪威帶中、美少數人徒步西行，於24日抵達印度丁蘇基，改乘飛機去新德里;羅卓英率長官部人員一面收容一面前進，於23日抵達印度英帕爾。
5月12日，第5軍各部抵達曼西，13日破壞了重型裝備，開始進入山區徒步轉進。此後，各師即失去掌握，各自行動。第五軍的部隊則不得不徒步在原始森林的“野人山”山區向胡康河谷的太洛等地前進。
按照杜聿明回憶錄的記載，進入野人山包括了第五軍部分軍直部隊、新22師、第96師部隊約2萬人，其中第96師(5000-6000人)作爲後衛，進入野人山後獨立行進，併成功翻越高黎貢山返回國內。第200師與部分軍直部隊包括補訓處的補充1、2團等部則沿滇緬公路方向，從日軍封鎖線中間奪路回國。
緬甸北部，至今仍然是一個外人難以涉足的神祕世界。孟拱以北，山嶺縱橫，河流密佈，幾乎所有溪流都匯入的一條長達400公里的河谷。這河谷從南向北幾乎延伸到喜馬拉雅山下，其中部有一個陡峭的峽口，將河谷分成兩段，南邊一段叫做孟拱河谷，雖環境艱苦，尚有人跡;北邊的一段，則完全沒有人煙，緬甸人把它叫做胡康河谷，也被稱爲“野人山”。
由於杜聿明的猶豫不決，第五軍軍部和新22師“棄車上山”的時機也已經太遲，大約一萬餘人的部隊在環境惡劣的野人山又碰上最糟糕的雨季。
當時，退入緬北森林的中國軍隊把旱季乾涸的溪谷河道當做交通要道，但在雨季乾涸的河流會由於上游降雨而猝發山洪，洪水來勢兇猛，盪滌一切，轉瞬之間，人馬即無影無蹤。不僅如此，冰冷的雨還帶走了熱量，帶走了體溫，螞蝗成羣結隊，循着人的氣息隨時襲來，無孔不入。
杜聿明部官兵在飢餓中以樹皮野草裹腹，並完全迷失方向，絕糧8日，賴空投地圖方於5月31日到達清加林長姆特，得到美軍空投的支援。此時，杜聿明不得不奉命改道進入印度，在空投糧藥的支援下，經新平洋於八月初撤到印度列多。此時，杜聿明率領的軍部和新22師僅生還官兵三千餘人。
