在納賽爾《革命哲學》的影響下，卡扎菲認識到軍隊的重要性，決定走從軍之路。1963年，他進入利比亞班加西軍事學院學習。1964年，他在軍隊中建立自由軍官組織這一祕密團體，着手策劃推翻利比亞伊德里斯王朝統治。1965年，卡扎菲從班加西軍事學院畢業，獲少尉軍銜。1966年，他到英國比肯斯菲爾德裝甲兵無線電通訊學校受訓，學習裝甲車的維修、信號和射擊技術。半年的培訓學習結束後，卡扎菲回利比亞擔任通訊兵團上尉軍官。
1967年6月5日第三次中東戰爭爆發後，利比亞政府決定派卡扎菲帶領一支先遣隊前去支援埃及。但這場戰爭僅打了6天，卡扎菲一行剛到達利比亞、埃及邊境，戰爭就?止了，卡扎菲決定返回。這場戰爭在阿拉伯國家中引起了巨大震動，利比亞人民對伊德里斯王朝的腐朽統治更加不滿，人心思變。卡扎菲強烈意識到，在利比亞發動革命的客觀條件日趨成熟，他決心加快採取行動的步伐。
1968年，利比亞國內形勢急劇惡化。80歲高齡的伊德里斯國王多病纏身，無力理政，曾提出退位想法，但宮廷幕僚們以一時找不到合適繼任人選爲由，將其挽留在國王寶座上。宮廷大臣、軍政高級官員藉此機會以權謀私，貪污腐敗，巧取豪奪，敲詐勒索，無惡不作。黎民百姓生靈塗炭，怨聲載道。當時的利比亞政局就像一堆乾柴一樣，一點?燃。
利比亞各派政治力量都清楚地看到，伊德里斯王朝已處於風雨飄搖之中，王朝政權隨時都有被推翻的可能。據有關方面透露，當時至少有4個政治集團曾有發動政變奪取政權的圖謀。第一個集團是包括前首相巴庫什在內的知識分子和軍官集團，這個集團謀劃過接管政權的計劃，但因內部分歧而遲遲沒有采取行動。第二個集團是以軍隊參謀長阿卜杜勒·阿齊茲·沙勒希爲首的王室力量，他們企圖獲得國王首肯體面接管政權，如此招不成再採取行動。由於國王遲遲未公開表態，他們貽誤了行動時機。第三個集團是以軍隊一名上校爲首的軍官集團，據說該集團得到伊拉克支持，但由於種種原因，遲遲未能採取行動。第四個集團便是以卡扎菲爲首的自由軍官組織。這個組織的領導人和骨幹成員名不見經傳，但爲發動政變做好了充分準備。
卡扎菲所依靠的是兩個支部的骨幹力量。他在薩卜哈學習時，與阿卜杜·薩拉姆·賈盧德一道創立了第一支部，此後又建立了一系列的支部，統稱“第一支部”系統。在此基礎上，卡扎菲號召支部的每個成員都應該創立自己的學習支部，稱之爲“第二支部”。按照卡扎菲親自制定的條例，各個支部的成員彼此要互不相識;參加第二支部的成員需要卡扎菲親自逐一審批。卡扎菲轉到米蘇臘塔學習後，又在這個城市建立了第一支部和第二支部。他還創立了自由軍官組織的外圍組織，即民間組織，在工人、農民、教師、商人和文職人員中吸收民間組織的成員。卡扎菲在班加西軍事學院學習時，非常重視在軍隊中發展成員。他對發展對象逐個進行觀察，蒐集他們的材料，逐個審批。
卡扎菲爲發動政變而進行的準備工作既精心又辛苦。他在談到這段經歷時說，爲準備暴動，他們召開的會議越來越多，遇到的困難也就越來越多。他們必須在節假日開會，通常在深夜開會。他們必須把會議地點選在遠離城市的地方，有時不得不奔赴數百公里遠的地方開會，這些地方自然條件和氣候條件往往都很惡劣。有的會議時間較長，他們就在野外露宿。爲了解決活動經費，自由軍官組織的成員都必須交出自己的全部工資。卡扎菲對發動政變的每個細節都做了精心安排。他把自由軍官組織的骨幹力量分配到全國各地，每個兵營裏都配備兩名軍官，負責蒐集與發動政變有關的各種情報，其中包括武器儲備、軍官名單及其上級領導等等。
1969年初，自由軍官組織召開了一次重要會議。與會者一致認爲，他們的組織已發展到相當成熟的程度，王室政權情報部門隨時都可能偵破自由軍官組織的計劃，逮捕組織的領導成員。他們決定儘快採取行動，發動名爲“耶路撒冷行動”的軍事政變。會後，卡扎菲即向自由軍官組織成員發出第一次警報，要求他們覈查對士兵、交通工具、武器和彈藥的控制情況。當收到一切準備就緒的信號後，他把發動政變的日期確定爲1969年3月21日。
卡扎菲領導的自由軍官組織舉事前夕，情況發生了變化。他們獲悉，埃及著名女歌唱家定於3月21日晚在班加西舉辦個人演唱音樂會。卡扎菲認爲，這場音樂會將給他們的暴動帶來諸多不便，第一，舉辦音樂會的音樂家是埃及女歌手烏姆·庫爾舒姆。她是阿拉伯歌壇上最有影響的一位女歌手，在全體阿拉伯人看來，她是位音樂天才，是位傳奇人物，頗受歡迎和尊重。在這一天晚上舉事是一件極不得體的事，也是對烏姆·庫爾舒姆極不尊重的事。第二，烏姆·庫爾舒姆舉辦的這場音樂會是爲巴勒斯坦法塔赫游擊隊舉行的義演。支持巴勒斯坦事業是所有阿拉伯國家義不容辭的責任，卡扎菲及其同事們對巴勒斯坦事業一直採取堅決支持立場，不願做任何不利於巴勒斯坦事業的事。第三，卡扎菲領導的自由軍官組織事先擬定了一份拘捕的王室政權高級人物名單，這份名單中的絕大多數人士將出席這場音樂會。按照慣例，這場音樂會可能要延續到次日凌晨，被拘捕人物的行蹤不便掌握，這對拘捕他們造成許多困難。如在這種場合拘捕他們，也將造成不良影響。
卡扎菲再三斟酌，權衡利弊，決定推遲舉事日期。卡扎菲把發動政變的日期改爲3月24日，但他了解到，伊德里斯國王在這一天駕臨班加西，王室和軍隊加強?警衛工作，從而增加了發動政變的困難。卡扎菲決定第二次推遲發動政變的時間，把政變時間定於6月5日。
政變前夕，自由軍官組織的一些成員突然被通知調防，卡扎菲懷疑他們的政變計劃可能泄密。此外，這一年的6月5日正值第三次中東戰爭爆發3週年，卡扎菲擔心官方可能舉辦紀念活動，給他們的活動帶來不測因素。爲防止意外，卡扎菲第三次推遲政變時間。
1969年7月.伊德里斯國王去土耳其和希臘度假消夏。8月，國王把利比亞上議院和下議院的領袖召到希臘首都雅典，交給他們一封信件，宣佈退位。這一消息傳到利比亞後，利比亞形勢更加混亂，各種政治力量蠢蠢欲動。卡扎菲瞭解到，軍隊參謀長沙勒希兄弟領導的宮廷集團準備在9月4日之前採取行動。與此同時，卡扎菲被通知於9月11日去英國接受第二次爲期6個月的培訓。
卡扎菲感到，發動政變已經成爲一件刻不容緩的事情。於是，他與賈盧德在的黎波里東南不遠的塔爾胡納召開了一次緊急會議，決定將政變時間確定爲1969年9月1日凌晨2時30分。他們還制定了詳細的行動計劃，決定採用突然襲擊的方式奪取政權。政變前，卡扎菲對王室的軍力部署進行了分析。他認爲，王室在班加西的兵力最強，因爲國王衛隊就駐紮在這裏。這支衛隊通常?稱爲昔蘭尼加衛隊，對國王忠貞不貳，且裝備精良，能否順利解決這支衛隊便成爲整個政變計劃成敗的關鍵。爲此，卡扎菲決定留在班加西，委派他的助手穆薩·艾哈邁德突襲昔蘭尼加衛隊，委派他的另一名助手穆斯塔法·卡魯比佔領貝卡軍營和廣播電臺。他派賈盧德去的黎波里，主持在首都的行動。此外，他還派自由軍官組織的其他成員分赴其他地區同時分頭行動。
總的說來，這是一場不流血的政變，卡扎菲採取的迅雷不及掩耳的行動獲得了極大成功。在整個政變過程中，僅在突襲昔蘭尼加衛隊時發生了小的衝突。穆薩·艾哈邁德率領的一隊人馬輕而易?地解除了衛隊崗哨的武裝，佔領了軍營。雙方在一陣對射中，1人被打死，15人受傷，衛隊司令在家中被擒，成爲俘虜。其他地區的政變行動基本上沒有遇到抵抗。名單上的宮廷要員和軍政高官基本上被拘捕。王儲聽到槍聲立即從宮中逃出，藏到游泳池裏，他於次日被捕後，立即表示效忠新政權。
1969年9月1日清晨6時，的黎波里廣播電臺開始播放軍樂曲，表明政變已經取得完全成功。6時30分，卡扎菲在班加西廣播電臺發佈政變成功後的第一號公報。自由軍官組織事前未曾想到準備公報，卡扎菲得到政變成功的消息後，立即取來一張紙，倉促寫了公報提綱，其他內容是他在電臺廣播時即席加上的。
卡扎菲在公報中說：“偉大的利比亞人民，爲了履行你們的自由意志，實現你們崇高的願望，誠摯地響應你們不斷提出的變革要求和爲之而奮鬥的渴望，傾聽你們對發動革命和起義的激勵，你們的武裝部隊已採取行動，推翻了反動、落後和腐朽的制度。這個腐朽的制度令人作嘔和恐懼。你們英雄的軍隊一舉摧毀了這些偶像，從而結束了漫漫長夜，即從土耳其的統治到意大利的暴虐，然後是反動政權的時代，這是貪污腐敗、裙帶關係、背信賣國的時代。”卡扎菲宣佈，一個新的利比亞誕生了，這是一個擁有主權的自由共和國，命名爲阿拉伯利比亞共和國。
出於安全和穩定政局的考慮，在政變成功後一週左右，卡扎菲沒有宣佈自己的名字，也沒有宣佈自由軍官組織中其他成員的名字。一週以後，利比亞公佈了由12人組成的國家最高權力機構--革命指揮委員會的人員名單。此後，卡扎菲及其政變的神祕面紗才逐漸被揭開。這場政變被稱爲“九·一”革命。
