桓溫死後，他的弟弟桓衝掌握了荊州的大權，桓衝對東晉朝廷效忠，而掌握朝政大權的謝安也能夠使得內外安定，東晉內部終於出現了難得的安定局面。謝安推薦他的侄子謝玄擔任兗州刺史，領廣陵相，監江北軍事。謝玄北方來的流民中招募了一批驍勇之士，加以嚴格的訓練，創建了一支勁旅，號稱“北府兵”。劉牢之是其中的佼佼者，他擔任參軍，經常率領精銳爲前鋒，戰無不摧，令敵人畏懼。北府兵的形成，也使得東晉中央了有一支可以憑藉的武裝力量，能夠制約地方政權。東晉內部穩定了，但是外部形勢是非常嚴峻的，前秦在滅亡了前燕以後，又逐漸統一了北方，國力逐漸強大，向東晉發起了數次攻勢。東晉寧康元年，前秦奪取了益州和梁州地區，東晉在寧康二年曾經組織反擊，但是失利了。東晉太元元年，前秦攻取了名義上稱臣於東晉的涼州。太元三年，前秦又在江漢地區發動進攻，奪取了南陽，圍攻襄陽和彭城。太元四年，襄陽和彭城相繼陷落，前秦一度深入淮南，逼近長江，多虧謝玄率領北府兵連續反擊，將秦軍擊退到了淮北，才度過了這次危機。
但是前秦已經奪取了長江中上游的有利地形，又有着超過東晉的強大國力，歷史似乎要重演西晉伐吳統一天下的一幕。太元八年，秦王苻堅親自率領三十萬大軍到達壽陽，與謝安的弟弟謝石率領的八萬晉軍展開了歷史上著名的淝水之戰，戰爭的勝負成敗有必然因素也有偶然因素，雖然前秦在淝水的潰敗並不是非常慘重，但是卻成爲國家崩潰的開始，各種勢力紛紛起兵，北方再次出現了大混戰的局面。這樣的局面，對於東晉的北伐是千載難逢的好機會。
東晉太元八年，前秦軍在淝水潰敗，謝玄率領人馬收復壽陽，生擒前秦淮南太守郭褒。太元九年，鷹揚將軍劉牢之收復譙城。桓衝派遣上庸太守郭寶先後收復了魏興、上庸、新城三郡。將軍楊全(左邊一個人，右邊一個全)期進佔成固，擊敗了前秦梁州刺史潘猛。竟陵太守趙統進攻襄陽，前秦荊州刺史都貴棄城奔魯陽。前秦洛州刺史張五虎以豐陽向東晉投降。梁州刺史楊亮率領五萬大軍進攻益州，派遣巴西太守費統率領水陸軍三萬爲前鋒，前秦益州刺史王廣派遣巴西太守康回等人迎擊。此時的前秦一片混亂，各地的守將都人心惶惶，忠於前秦的將領還要率領自己的人馬支援長安，根本無力堅守自己防區，東晉的進攻遇到的抵抗很少，進展非常順利。將軍劉春進攻魯陽，逃到魯陽的都貴直接逃回了長安。而益州刺史王廣面臨東晉的進攻，還派遣將軍王虯師率領三萬人馬支援長安，益州的兵力更加空虛，康回抵擋不住晉軍的進攻，退回了成都，梓潼太守壘襲以涪城投降。東晉荊州刺史桓石民進佔魯陽，派遣河南太守高茂防守已經被前秦放棄的洛陽。擔任太保的謝安請求趁前秦混亂，開拓中原，進行北伐。
東晉派遣謝玄爲前鋒都督，率領豫州刺史桓石虔等北伐。謝玄進軍到下邳，前秦徐州太守趙遷放棄彭城逃走，謝玄又進佔彭城。謝玄派遣劉牢之進攻前秦兗州刺史張崇，張崇放棄鄄城奔燕，劉牢之佔據鄄城，河南塢堡紛紛向劉牢之請降。謝玄派遣陰陵太守高素進攻前秦青州刺史苻朗，晉軍前進到琅邪，苻朗投降。前秦長樂公苻丕堅守鄴城，既要對付慕容垂的燕軍，又得防備日益逼近的東晉北伐軍。謝玄派遣龍驤將軍劉牢之進據確(左邊一個石，右邊一個高)敖(左邊一個石，右邊一個敖)，濟陽太守郭滿進據滑臺，將軍顏肱、劉襲進軍河北，這是東晉自祖逖北伐以來，首次進軍河北。苻丕派遣將軍桑據防守黎陽，企圖阻止晉軍的推進，劉襲進行了夜間突襲，攻克了黎陽。苻丕大爲恐慌，不得不向東晉求救，請東晉放他們一條生路去長安，他願意讓出鄴城。謝玄派晉陵太守滕恬之防守黎陽。東晉北伐進展順利，先後平定了兗、青、司、豫四州，東晉朝廷加封謝玄都督徐、兗、青、司、冀、幽、並七州軍事。
苻丕的部下打算以鄴城歸順東晉，謝玄派滕恬之、劉牢之率領二萬人馬向鄴城前進。東晉太元十年，前秦的梁州刺史潘猛放棄漢中奔長安，益州刺史王廣也放棄益州，率領部衆奔還隴西。劉牢之前進到枋頭，準備接應晉軍的人被苻丕殺了，晉軍不能不暫時停止前進。劉牢之與慕容垂交戰不利，退回了黎陽。劉牢之在休整以後，再次向鄴城進軍，擊敗了慕容垂，燕軍撤圍向北撤退，劉牢之也不通知苻丕，乘勝窮追二百里，士卒爭搶燕軍的輜重，結果在五澤橋遭到慕容垂的伏擊，精銳的北府兵遭到大敗，損失了數千人，劉牢之脫身獨逃，幸虧前秦軍趕到，才撿了一條小命。苻丕讓出了鄴城，率領部下到枋頭接受東晉援助的糧食，劉牢之在鄴城收集散兵，重整旗鼓。而在此時，東晉蜀郡太守任權攻克成都，斬殺了前秦益州刺史李丕，收復了益州。北方一片混亂，東晉深入河北，佔據了鄴城這樣的重鎮，如果努力經營，平定河北也是可能的。劉牢之雖然遭到了挫折，但是損失並不慘重。但是東晉朝廷以軍敗，召回了劉牢之，苻丕吃飽了飯又殺了回來，龍驤將軍檀玄進行截擊，打了敗仗，苻丕又佔據了鄴城。而此時，主持北伐的謝安病死了，北伐的大計無人主持。
司馬道子掌權,以北伐進行了這麼長的時間，命令謝玄部署了各地方的守將以後，停止了北伐行動。以後東晉守將就是在邊境進行防守，很長一段時間沒有再做進取，而謝安死後，本來穩定的東晉朝廷又開始了內部動盪，更是無力北顧了，淮北，河南的土地又漸漸失陷。
謝安的北伐，充分利用了前秦在淝水之戰以後崩潰混亂的機會，取得了極大的進展，不但收復了黃河以南的廣大地區，而且深入河北，是祖逖以來的第一次，遠遠超過了桓溫的成就，說明如果東晉朝廷能夠下決心支持，再有適當的人選主持，抓住有利時機，北伐是大有可爲的。但是這樣迅猛的進展，東晉並沒有充分的經營新收復的地區，招撫民衆，及時恢復生產，再做進取。謝安死後，東晉朝廷再次陷了內亂之中。
