大興四年(321年)，晉元帝以戴淵爲徵西將軍、都督司、兗、豫、並、雍、冀六州諸軍事、司州刺史。祖逖認爲戴淵雖有才望，但無遠見，無助於北伐，而且自己既收復黃河以南大片土地，卻突然由如此從容不迫的文臣統領，心中甚爲不快。同時，祖逖憂慮權臣王敦和寵臣劉隗對立，內亂將會爆發，北伐難成，因而憂憤成疾。祖逖雖然患病，但仍圖進取，抱病營繕虎牢城，同時派人修築營壘作爲南部部隊的據點以防後趙進侵。
同年九月，“妖星見於豫州之分”，祖逖仰視星空，嘆道：“爲我矣!方平河北，而天欲殺我，此乃不祐國也。”不久，祖逖病逝於雍丘，享年五十六歲，追贈車騎將軍。豫州百姓如喪父母，譙樑百姓爲之立祠。祖逖死後，王敦大喜過望，“久懷逆亂，畏逖不敢發，至是始得肆意焉”。祖逖之弟祖約代替其兄統領部衆，但節節失敗，祖逖收復的河南大片土地最終被後趙攻陷。南渡之後，很多南渡士族極力要求司馬睿北伐收復失地，以聞雞起舞出名的祖逖爲其中的突出代表。但是他並沒有得到司馬睿的重用。這是由於司馬睿不會用人嗎?我們認爲並不是這樣的，因爲祖逖北伐的要求和司馬睿立足江南的目標存在衝突，爲了實現自己的戰略目標，他放棄了祖逖。
祖逖率領宗族賓客南渡後，司馬睿開始還是重用他的，任命他爲徐州刺史，不久又徵用爲軍諮祭酒。但祖逖仍以收復中原爲己任，多次上書司馬睿，積極要求北伐。而此時司馬睿政權在江南尚未立穩腳跟，對北伐能否成功更是懷疑，所以很現實地選擇了保存江南政權的策略，因此對北伐態度極其冷漠。有人說司馬睿本人“素無北伐之志”，這似乎有些要求過分了。他和王導實際上是在致力於割據江南，靜觀時變;渡江之後，他在建康建立了實際上的獨立政權，實現了偏安江左的規劃，但是並不穩固，需要加強內部建設，保存實力。
儘管司馬睿政權對北伐不積極，但由於南渡百姓及部分南渡士族強烈要求光復失地，重返家園，因此，爲了籠絡人心，司馬睿也不得不表面上同意祖逖北伐。司馬睿於是任命他爲奮威將軍、豫州刺史，卻不願意給予實質的支持，只給幾千軍隊，千人口糧和三千匹布，剩下的東西讓他自行解決。
祖逖還是率兵渡江北上，在長江上擊楫起誓：“不能清中原而復濟者，有如大江。”表達出自己北伐的壯志。渡江後，祖逖進屯淮陰，招募軍士，鍛鑄兵甲，並屯田積穀，隨後進軍太丘、雍丘一帶，並積極聯合一些塢壁的地主武裝，共同對付石勒。不到幾年的時間，祖逖就收復了黃河以南的大部分土地，並在收復之地勸課農桑，允許邊境人民開展互市貿易，使收復之地呈現出一片興旺繁榮的景象。
但是祖逖始終沒有得到東晉政權的支持，北伐終以失敗而告終。這除了史家常說的權力爭鬥等因素外，從用人角度講，祖逖的抱負雖然宏大，但是與司馬睿的戰略規劃確實存在衝突。他不能爲司馬睿所用是有原因的。
