北宋政權建立起來後，趙匡胤總結最大的一條教訓就是：一支無法控制的軍隊比一支無能的軍隊更糟糕。所以趙匡胤上臺以後就開始加強對軍隊的控制。當然，他的很多做法並不是自己的發明，後周的君主已經開始有意識這麼做了。從某個角度上說，趙匡胤是柴榮政策的繼承者。
《大駕鹵簿圖書》(局部)，圖中共繪官兵5481人、車輦61乘、牲畜近3000只、樂器1701件等
具體怎麼做呢?當然要削弱藩鎮。這個倒比較容易。五代後期，藩鎮的力量已經很弱了，沒什麼抵抗能力。
更重要的是對付禁軍。大家都知道趙匡胤“杯酒釋兵權”的故事。有的讀者會誤以爲這是去掉節度使們的兵權，其實恰恰相反，趙匡胤是把禁軍高級將領攆去當節度使，其中就包括他的一批把兄弟。趙匡胤這麼做是要把位高權重的人趕出禁軍，把禁軍將領們換成一批品級不高的新人，以方便他控制。但是這麼做還不夠，這只是一種權術，雖能取效於一時，但要想長治久安還得更改軍事制度。
於是，趙匡胤永久性的改變了禁軍制度。後周已經把禁軍核心拆分爲侍衛司和殿前司，趙匡胤更進一步將侍衛司拆分爲侍衛馬軍司和侍衛步軍司。這樣禁軍就割裂爲不相統屬的三部分，二司就變成了“三衙”。這樣做趙匡胤還不放心，他進一步降低了三衙領導的品級。像殿前都點檢、侍衛司都指揮使這樣高級別的官職都空着不任命，三衙最高領導至多是從二品，甚至是四品官、五品官。所謂“位低則易使”，級別低了總是聽話些。
這樣就能讓趙匡胤放心麼?還是不踏實，還要再分權。三衙裏有好多高級將領，趙匡胤蓄意降低他們之間的權位差距，讓他們彼此牽制，總之是防範一元化領導，防止三衙長官翹尾巴。
北宋禁軍印信
但是光這樣就夠了麼?終究三衙裏是一幫子武將，有共同語言，碰到特殊情況說不定會勾結起來?趙匡胤又讓樞密院幫助三衙一起領導禁軍。樞密院的領導叫樞密使，基本由文官擔任。禁軍的領導權在樞密院和三衙之間做了分割。三衙有管理權，樞密院有調度權。按後來李綱的說法，就是“兵符出於密院，而不得統其衆，兵衆隸於三衙，而不得專其制”。這個制度在後周時期已有苗頭，趙匡胤將其進一步固化，持續了整個宋朝。
這樣趙匡胤還是不太放心，趙匡胤武將出身，根據切身經驗意識到了一件事：如果一個將領長期帶領某支軍隊，那麼將士之間就會有某種感情聯繫，這對作戰當然有幫助，但也帶來造反的可能! 《宋太祖立像》軸，絹本設色，縱265.5釐米，橫127.8釐米，故宮南薰殿舊藏，現藏臺北故宮博物院
所以趙匡胤推行了“更戍制”。按照慣例，禁軍也要到各地駐防，不可能都屯在首都吃閒飯。以前這些禁軍往往長期駐紮在當地。現在趙匡胤規定禁軍在一個地方駐紮不能超過三年，往往一兩年一換防。而且除了極個別例外，全體禁軍都要參加輪換，這樣一來，整個宋朝大地上佈滿了頻繁換防的禁軍，像螞蟻搬家一樣來回跑。
司馬光誇獎這種制度，說它能讓士兵“均勞逸、知艱難、識戰鬥、習山川”。士兵可能確實藉機領略了祖國的大好風光，熟悉了不少山川，但問題是他們不太熟悉自己的將領。這樣當然也有好處，守邊大將手下的軍隊雖然不少，但一兩年一換，你怎麼培植個人勢力?你又怎麼可能帶着一羣半熟臉去造反?
制度上的變革也需要文化上的配合。趙匡胤大力崇尚文化教育，反覆讓將軍們“多讀書”，以前被看不起的“毛錐子”們開始神氣活現，到了他弟弟趙光義的時代，這個趨勢更加明顯，文化人堅定地爬到了武將的頭上。五代時期的格局出現了大翻盤。
