在興平元年(194年)，曹操爲了爲父報仇，再次攻打徐州。徐州牧陶謙無力抵抗，向青州刺史田楷請求援助。田楷和劉備一起前去救援，但此時張邈和陳宮叛變，投降了呂布，攻打曹操。曹操的勢力遭到了重創，不得不撤回到兗州。陶謙任命劉備爲豫州刺史，讓他在小沛駐紮。在興平二年(195年)，陶謙病重，對別駕麋竺說：“只有劉備才能使徐州安定。”陶謙去世後，麋竺領導徐州百姓迎接劉備，讓他接管徐州。儘管劉備一開始拒絕了這一提議，但在陳登和孔融的多次勸說下，劉備最終接受了這個職位。
這使得劉備表面上的實力能夠與曹操一較高下，而此時曹操還在與呂布爭奪兗州。但是，實際上劉備並沒有有效地掌控徐州。不久之後，呂布被曹操擊敗，前來投奔劉備。儘管呂布反覆無常的品質早已爲人所知，但因爲他勇冠三軍，他還是被劉備收留了。
建安元年(196年)，曹操任命劉備爲鎮東將軍，封他爲宜城亭侯。袁術率領大軍進攻徐州，劉備迎擊，兩軍在盱眙和淮陰進行了激戰。此時，呂布偷襲下邳，俘虜了劉備的妻子。劉備返回軍營，途中軍隊潰散，只能收集殘部東行攻打廣陵，但最終被袁術擊敗。劉備不得不向呂布求和，呂布歸還了劉備的妻子，劉備回到了小沛。不久之後，劉備再次招募了萬餘人的大軍，呂布於是率軍進攻小沛。劉備戰敗，只得前往許都投奔曹操。曹操給了劉備兵馬糧草，並任命他爲豫州牧。此後，人們稱劉備爲“劉豫州”。
