英布被封爲九江王后，就開始擁兵自重，不大聽從項羽指揮了。項羽與齊王田榮作戰，向九江徵兵。英布稱病不出，只派出幾千軍隊去敷衍。劉邦攻打彭城，英布又稱病，見死不救，致使彭城陷落。雖然項王因怨恨英布，屢次派使者前去責備英布，但仍舊沒有攻打他，這是因爲當時項王正爲北方的齊國、趙國擔心，西邊又憂患漢王起兵，唯有任用英布，於是打算親近他、任用他。
漢三年，劉邦攻打楚國，派隨何出使淮南，遊說英布叛楚歸漢。經過隨何的一番遊說，英布暗中答應叛楚歸漢。楚國使者促英布出兵，住在賓館裏。隨何告訴楚國使者：“九江王已歸附漢王，楚國憑什麼讓他出兵?”隨何又勸英布殺死楚國的使者，又說：“我們趕快向漢靠攏，協同作戰。”英布於是出兵攻打楚國。在淮南戰役中，英布敗給了楚國大將龍且。英布和隨何從隱蔽的小道逃歸漢國。
英布背叛項羽，究其原因是因爲，項羽剛愎自用，沒有給大功臣英布太多的好處。英布在項羽手下，英勇殺敵，屢屢立功，堪稱是爲楚國做出最大貢獻的人，卻沒有得到最好的待遇。恰好此時，劉邦派隨何以優待遊說，於是英布就背叛了項羽。
