於是祖逖帶着一百多人的隨從渡江北上開始了征討的歷程，面對滾滾東去的長江水他激情澎湃心裏不能平靜，祖逖用船槳擊打着水激昂地說道：“我祖逖今生不收復中原決不回去。”隨行的人都爲之所感動。祖逖渡過長江到了北方暫駐淮陰，不久就組織了一支兩千多人的隊伍與此同時，起爐冶鐵，鑄造兵器，爲收復失地的戰鬥做着準備。
公元317年他帶領大軍在譙城(今安徽毫縣)打敗了石勒的軍隊，僅三年的時間就收復了黃河以南的大部分地區。他時刻謹記自己的誓言“不收復中原決不回去”。
祖逖北伐時，也就是東晉大興二年(319)農曆6月，石虎派桃豹據浚儀，屯兵西臺，從南門出入，祖逖則派韓潛據東臺，由東門出入，兩軍相持四十日。雙方都已經到了彈盡糧絕的時候，祖逖決定設計智取，於是命令把沙土裝在糧袋裏，假裝成米，讓一千多人像運送軍糧一樣，忙忙碌碌運上東臺。又故意讓幾個人真的挑着大米，走在後面，佯裝疲憊在路上休息，等敵軍來搶米。桃豹的軍隊缺糧已久，見晉軍運糧，以爲有機可乘，突然衝過來搶糧，那幾個人扔下糧袋倉皇逃跑。桃豹軍中無糧，最終連夜撤軍。桃豹跟隨石勒東征西討，也是曾經和東晉大將祖逖北伐戰鬥中鬥智鬥勇的一名老將。
傳說祖逖收復河南後，休養生息，善待百姓。一次，他設宴招待當地耆老。耆老都流着眼淚道:"我們老了，卻能得到祖將軍這樣的父母官，雖死無憾。"祖逖作歌道：
"幸哉遺黎免俘虜，
三辰既朗遇慈父，
玄酒忘勞甘瓠脯，
何以詠恩歌且舞。"
太興四年(321年)，晉元帝任命戴淵爲徵西將軍、都督司兗豫並雍冀六州諸軍事、司州刺史，出鎮合肥。 祖逖認爲戴淵雖有才望，卻無遠見卓識，而且自己辛苦收復河南，卻仍不得朝廷信任，心中甚爲不快。不久，祖逖又聽聞王敦跋扈，朝廷內部矛盾日益尖銳的消息，擔心內亂爆發，北伐難成，以致憂憤成疾。
祖逖雖患病，但仍圖進取，抱病營繕虎牢城。虎牢城北臨黃河，西接成皋，地理位置非常重要，他擔心城南沒有堅固的壁壘，易被敵軍攻破，特意派從子祖濟率衆修築壁壘。但壁壘尚未修成，祖逖便在雍丘病逝，時年五十六歲。
據說祖逖去世前，豫州分野有妖星出現。術士戴洋預言："祖豫州九月當死。"妖星出現後，陳訓道："今年西北大將當死。"祖逖自嘆道："妖星應在我身，本想進軍平定河北，而天欲殺我，這是對國家不利的徵兆啊。"不久祖逖便去世了。
祖逖死後，豫州百姓如喪父母，譙樑百姓還爲他修建祠堂。晉元帝追贈祖逖爲車騎將軍，並命其弟祖約接掌其部衆。 後趙趁機入侵河南，祖約難以抵禦，退據壽春。祖逖收復的河南大片土地最終又被後趙攻陷。
一代大將滿腹的抱負不被朝廷重用，你又能奈何
