377年，前秦天王苻堅在名相王猛的輔佐下，先後攻取了東晉的樑、益二州，北並代國，西兼前涼，遠征西域，完成了北方的統一。苻堅志在天下一統，因此頻頻對僻居東南的東晉用兵。面對巨大的軍事壓力，東晉宰相謝安推薦其侄謝玄爲建武將軍、兗州刺史，領廣陵相、監江北諸軍事，鎮守廣陵。誰也不會想到這將是一個改變歷史的選擇！
當時廣陵、京口地區聚居着大量逃避北方戰亂而來的流民，他們心戀故國，因而勇猛無比。謝玄到任後，在這些人中召募勁勇，組建了一隻新式軍隊，許多後來大名鼎鼎的人物均加入了這支隊伍，如劉牢之、劉裕、檀道濟等人。379年，謝玄率領這支軍隊改鎮京口，京口又名北府，因而將其軍命名爲北府軍。
383年8月，前秦天王苻堅親率步兵60萬、騎兵27萬，開始大舉南侵。大軍壓境之際，謝石、謝玄率8萬北府軍迎戰。11月，北府軍前鋒劉牢之率領五千精兵大敗秦軍，斬殺秦軍主將樑成及其所屬五萬軍隊，取得洛澗大捷。不久後的淝水之戰，謝玄率領八萬晉軍，擊潰了苻堅、苻融所統率的前秦二十五萬大軍，苻融當場被斬殺，苻堅身中數箭，落荒而逃。
此戰後，強盛一時的前秦土崩瓦解，東晉王朝雖無力恢復統一中國，但卻出兵收復了黃河以南的領土，有效地遏制了北方少數民族的南下侵擾，保住了東南半壁江山，也使得流落到南方的漢族中原文化得以延續和發展，謝氏領導的北府軍爲此發揮了極爲關鍵的作用。
淝水之戰使得謝氏的名譽達到了頂點，東晉孝武帝開始逐漸不信任謝氏，他先後解除謝安的宰相職務，以及謝玄的兵權。孝武帝任命自己的兄弟司馬道子爲相，總理朝政，同時任命自己的妻兄王恭統帥北府軍。此後王恭與司馬道子發生矛盾，北府軍成爲朝廷內部火併的工具。之後北府軍司馬劉牢之在得到司馬道子的許諾後，將王恭殺死，成爲北府軍的新統帥。
399年，孫恩、盧循發動農民起義，起義軍迅速佔領江東八郡。東晉朝廷見起義軍聲勢浩大，急忙派劉牢之率北府兵前往鎮壓，孫恩戰敗後自殺。在對付孫恩的起義軍中，一位將領脫穎而出，此人就是後來的宋武帝劉裕。
402年，東晉朝廷的執政者司馬元顯決定討伐準備擁兵叛亂的桓玄，派出劉牢之爲前鋒都督，率北府軍征討。劉牢之也是位軍事天才，政治上的弱智，他接受桓玄的許諾，選擇背叛朝廷。最終桓玄北齊諾言，大肆殺戮北府軍將領，軍隊責備桓玄瓜分，劉牢之被迫自殺。
404年，北府軍將領劉裕在京口舉兵，反抗桓玄，重建北府軍。北府軍在劉裕的統帥下，再次大顯聲威。滅南燕、平後秦，卻月陣大破北魏騎兵，如果不是劉裕選擇返回江南，甚至大有重整天下之勢。劉裕死後，北府軍依然是劉宋王朝抵禦北魏的重要軍事力量。436年，北府軍最後一員名將檀道濟被殺，至此這隻由流民組成的精銳軍事力量才正式落下帷幕。
