北府兵是東晉孝武帝初年謝玄組建訓練的軍隊，又名北府軍。《晉書·劉牢之傳》記載：“太元初，謝玄北鎮廣陵。時苻堅方盛，玄多募勁勇，牢之與東海何謙、琅邪諸葛侃、樂安高衡、東平劉軌、西河田洛及晉陵孫無終等以驍猛應選。玄以牢之爲參軍，領精銳爲前鋒，百戰百勝，號爲北府兵。”
《資治通鑑》也雲：“玄募驍勇之士，得彭城劉牢之等數人，以劉牢之爲參軍，常領精銳爲前鋒，戰無不捷，時號北府兵。”
東晉孝武帝太元二年(377年)，由於前秦已一統北部中國，東晉王朝受到空前的軍事壓力，因此詔求良將鎮御北方，當時的重臣謝安遂任命其侄子謝玄應舉。朝廷任命謝玄爲建武將軍、兗州刺史、領廣陵相、監江北諸軍事，鎮廣陵。其時廣陵和京口聚居着大量逃避北方戰亂而來的流民，謝玄到任後，在流民中選拔驍勇士卒，建立了一支軍隊，太元四年(379年)，謝玄改鎮京口，因爲當時京口又名北府，故其所率軍隊得名北府兵。
太元八年(383年)，北府軍在淝水之戰中一舉擊敗前秦大軍，劉牢之一度追到鄴城，由此名聲大振。
晉安帝元興元年(402年)，北府軍奉命征討在荊州割據的桓玄，劉牢之投降桓玄。桓玄稱帝后大大削減了劉牢之的兵權，劉牢之慾起兵反抗，但已衆叛親離，最後自殺而亡。
元興三年(404年)，原北府軍參軍劉裕率餘部在京口起兵，殺死桓玄。此後，北府軍成爲劉裕的軍事支柱。
420年，劉裕廢東晉恭帝司馬德文，自立爲帝，建立大宋政權，北府軍成爲其皇家軍隊的中堅。
