龐大的阿拉伯帝國是阿拉伯貴族借武力征服而建立的多民族、多宗教、多信仰的集合體。不同民族與不同信仰之間存在着一定的隔閡與矛盾;廣大人民羣衆與貴族官僚、富商階級之間存在着無法調和的階級矛盾;穆斯林內部也因複雜的矛盾而四分五裂;特別是封建制度的進一步發展，又從帝國內部培植起離異的勢力。因此，9世紀中葉，哈里發政權已逐步釋放盡自身的能量，帝國急劇滑向分崩離析的窮途末路，直至走向滅亡。
早在阿拔斯王朝創建之初，倭馬亞家族的後裔就在歐洲伊比利亞半島割據獨立，建立後倭馬亞王朝(756年—1236年)，由於服色尚白，中國史書稱爲“白衣大食”，與阿拔斯王朝分庭抗禮。788年，北非摩洛哥又出現了什葉派的伊德里斯王朝。
帝國內部經濟基礎的差異和由軍事封土製造成的強大地方勢力，促使割據局面的形成。各地總督和軍事統帥因封土製的推行而逐漸獲得的強大的經濟基礎和軍事力量，對阿拔斯王朝統治構成了嚴重威脅。東西各地幾十位總督、軍事統帥皆乘機自立，相互攻伐征戰，併力圖染指中央政權。800年，大將伊本·艾格萊卜在獲得突尼斯封土之後，當年便建立艾格萊卜王朝(822-875年)。868年，埃及總督阿哈默德·圖倫宣佈獨立，建立圖倫王朝(868—905年)。東方各省繼塔希爾王朝之後，又相繼出現了薩法爾王朝(867-903年)、薩曼王朝(874-999年)。909年，什葉派穆斯林在突尼斯建立法蒂瑪王朝，先後征服阿爾及利亞、敘利亞、埃及、撒丁島，973年遷都開羅，由於服色尚綠，中國史書稱爲“綠衣大食”。
此外，摩蘇爾和阿勒頗建立了哈姆丹尼王朝;波斯人和突厥人在波斯、中亞和小亞細亞等地建立了薩曼王朝、白益王朝、伽色尼王朝、塞爾柱帝國;在埃及、敘利亞和也門也建立了阿尤布王朝。大小王國在這一時期忽生忽滅。
10世紀以後，帝國四分五裂，實際統治區域僅限於巴格達及其周圍地區，名存實亡。由裏海南岸的德萊木人白益第三子阿里於934年佔領法爾斯的都城設拉子;945年其弟艾哈邁德進入巴格達，哈里發穆斯臺克非成爲白益家族的傀儡。各地封建主擁兵割據，獨霸一方。1055年，另一支塞爾柱人攻陷巴格達，解除了哈里發的政治權力，僅保有宗教首領的地位。
廣大下層人民的反抗鬥爭是造成帝國統治根基動搖的主要原因。爲了維持龐大的封建國家官僚機器的運轉，滿足無度奢靡生活的需求，哈里發國家一直不斷加強對農民、手工業者和奴隸的殘酷剝削，致使封建主與廣大民衆間的階級矛盾始終處於不斷惡化的狀態之中，導致此伏彼起、連綿不斷的反抗鬥爭。進入9世紀之後，人民起義更是遍及帝國全境，其中聲勢最爲浩大的有巴貝克起義、黑奴起義和卡爾馬特起義。
出身於阿塞拜疆社會下層的巴貝克，利用祆教胡拉夫派的教義，號召民衆與惡神造成的暴力、壓迫、不平等的社會制度進行鬥爭，提出推翻阿拔斯王朝的口號。816年，巴貝克在阿塞拜疆首豎義旗，很快便控制了阿塞拜疆、亞美尼亞和波斯西部等廣大地區。民衆武裝“紅衣軍”一度發展到30萬人，對哈里發政權構成嚴重的威脅。機智善戰的巴貝克率領紅衣軍屢敗官軍，堅持鬥爭20年。馬蒙、穆木臺綏木兩任哈里發圍剿義軍，並懸賞百萬第爾汗緝拿巴貝克。837年，巴貝克爲叛徒出賣，英勇就義。
巴貝克起義的烈火剛剛停息30年後，帝國腹地美索不達米亞地區又爆發黑奴大起義。自建朝以來，阿拔斯王朝就不斷從東非輸入黑奴，押至南美索不達米亞地區進行農業生產，其境遇十分悽慘。哈瓦立及派穆斯林阿里·伊本·穆罕默德自稱是安拉的使者，使命是使奴隸獲得自由和財富，深得廣大奴隸的擁戴。869年3月，阿里率衆起事，很快便聚成20萬之衆。871年，攻陷兩河流域的重鎮巴士拉，一度進至距巴格達僅20公里處，帝國首都岌岌可危。哈里發穆耳臺米德派軍征討，剿撫兩計並用。由於阿里在起義後未能及時兌現當初的允諾，義軍力量被削弱。883年，黑奴起義在堅持了14年之後，慘遭失敗，阿里被殺。在世界歷史上，這次黑奴起義是與古代羅馬斯巴達克起義齊名的大規模奴隸反抗鬥爭，它給哈里發國家以沉重打擊。此後，阿拉伯從非洲輸人奴隸的數量明顯減少，整個社會中的奴隸制殘餘也漸趨消亡。
人民起義浪潮也使阿拔斯帝國境內異端教派的活動更趨活躍。9世紀晚期，由阿布·阿杜拉創立的“卡爾馬特教派”逐漸興起。該派反對遜尼派哈里發政權，主張社會平等、財產共有，廢棄正統的伊斯蘭教規、教禮。890年，該派在哈馬丹·卡爾馬特領導下於伊拉克南部庫法地區舉行起義。勢力迅速擴及波斯、中亞一帶，並於899年在波斯灣西岸的巴林建立了卡爾馬特國家，先後延續200餘年。
帝國滅亡
塞爾柱人的到來，使阿拉伯帝國一度出現中興局面。當時，雖然帝國名義上的統治者還是哈里發，但是實權已經旁落到了塞爾柱的“蘇丹”手中。塞爾柱當權者十分尊重阿拉伯帝國的傳統，基本承襲了帝國以往的各種封建典章制度。帝國東部又暫時恢復了統一局面。
但是，各種社會矛盾仍然存在，人民反抗繼續發展，各種教派紛爭愈發殘酷。11世紀末，什葉派主要派別伊斯瑪儀派中出現了一個極端恐怖的阿薩辛派，它以波斯西部的阿剌模忒堡爲根據地，在神祕的山中老人霍山(哈桑·本·薩巴赫)統率下專門從事暗殺哈里發、蘇丹及達官貴人等排除異己的恐怖活動。
此外，軍事封土製再次顯示出對統一政權的侵蝕作用。11、12世紀之交，阿拉伯帝國又被那些手握重兵、擁有大片地產和稅收大權的突厥封疆大吏分裂成10餘個封建小邦。
紊亂的政局，爲西歐封建主和基督教會向東方掠奪提供了有利的契機。11世紀開始的十字軍東征多次侵蝕阿拉伯帝國的疆域，聖城耶路撒冷更多次被血洗。
12世紀末年，中亞新興的花剌子模王朝取代塞爾柱人，控制了哈里發，但突厥語諸邦分立的局面，未有大的改觀。
13世紀初，強大的蒙古帝國開始興起，第一次蒙古西征就消滅了花剌子模。13世紀中葉，蒙古鐵騎衝入西亞大地。1252年，成吉思汗之孫旭烈兀奉其兄蒙哥汗之命西征。他率領蒙古軍隊洗劫了波斯、小亞細亞、美索不達米亞和敘利亞，並於1258年摧毀帝國首都巴格達，1260年攻佔敘利亞首府大馬士革。據說，除少數技藝高超的工匠外，巴格達全城居民都被屠殺，被屠殺人數約爲9萬人(《多桑蒙古史》中記載爲80萬人)。爲了不讓皇族的鮮血玷污戰刀，巴格達哈里發裹在地毯裏被戰馬踩死，阿拉伯帝國滅亡。
阿拉伯帝國滅亡之後，“哈里發”的頭銜，則作爲伊斯蘭教宗教領袖的稱號，一直被繼承下去。哈里發首先是處於開羅的馬穆魯克王朝的控制之下。1517年，奧斯曼帝國征服了埃及，時任哈里發的穆臺瓦基勒也被俘。1543年，穆臺瓦基勒死去，奧斯曼蘇丹蘇萊曼一世宣佈自己繼承哈里發的職位，成爲全世界穆斯林的領袖。直到1924年，哈里發制度最終才由凱末爾廢除。
