朱元璋深知軍隊就是自己政治事業的堅實支柱，軍隊可以幫他打下，也可以幫他看守天下，沒有軍隊，舊王朝是不可能被推翻的，自己的政敵也不可能被消滅，新王朝就會被風起雲涌的農民起義所吞沒。
如果沒有強大的軍隊做後盾，起到保駕護航的作用，那是斷然行不通的，因此朱元璋十分重視軍隊的建設。
就要按照軍隊的紀律來對其進行約束與要求，必須要培養出一支能夠打仗並且能夠打勝仗的軍隊，否則要一幫莊稼漢來是不可能自立於羣雄、自立於天下的。
朱元璋重視軍隊的紀律，他在檢閱新軍時，特別指出了這一點。朱元璋懇切地勸誡將士們說：“你們原來是很大的部隊，可是我毫不費事就收編了你們，原因在哪裏呢?一是將官沒有紀律，二是士卒缺乏訓練。現在我們必須要有嚴格的紀律，進行嚴格的訓練，才能夠建功立業。”
尤其重視軍風、軍紀和軍隊的素質方面的建設。在攻下大都之後，他對軍隊的建設提出了更高的要求。
朱元璋認爲創建一個新的王朝需要一支強大的軍隊，而奪取了天下之後，仍然需要一支強大的軍隊來進行保衛，只有這樣纔會使內外的敵人沒有可乘之機。無論是戰時還是和平時期，軍隊擔負的主要職責基本上都是相同的，爲此他一再告誡各部隊將領：有備無患，不論和平時期還是戰時，都要隨時準備迎擊敵人。
對軍事機構的改革與調整，也是加強中央集權體制的一項重要組成部分。朱元璋登基後覺得大都督府的權力太大，在廢除中書省的同時，他又採取了分權制衡的辦法，把大都督府分成中、左、右、前、後等五軍都督府。其長官爲左右都督，分別管理京師及各地的衛所和都指揮使司。
在於化整爲零，分散中央軍事機關的權力，使軍隊的權力歸皇帝直接掌握。爲使五軍都督府和兵部能夠互相牽制，朱元璋規定，五軍都督府對軍隊無調遣權，只是負責各都司衛所軍隊的管理和訓練，軍隊的調遣屬於兵部。遇有戰事，由皇帝親自派遣帶兵的將領，戰事結束後，將帥回朝覆命，軍隊返回衛所。這樣的好處是使將不專兵，兵不專將，以避免將帥擁兵自立，從而威脅了朝廷。
將武裝力量和生產力量結合起來，這樣既可以靈活指揮，又可以避免財政上出現過重的負擔。
它是明代獨有的軍事管理制度。在明朝時，軍人有特殊的社會身份。在明代戶籍中，軍籍、民籍和匠籍是主要的戶口。軍籍屬於部督府，軍人不受普通地方行政官吏的管轄，在身份上、法律上、經濟上的地位，也都是和民戶不同的，軍和民是截然分開的。
顧名思義，衛所是由衛和所組成的。衛即衛指揮使司，所即千戶所、百戶所。在建制方面，如果是單一的一個郡，就設所，兩個郡在一起相連則設衛。衛所是一個個或大或小的管理基層部隊的機關，就相當於現在的連、團、旅、師的建制。這種嚴密的體制在歷史上無疑是個首創。在現實中，管理效果也是非常的好。
衛所的兵源有四種：一種是從徵，即起事時所指揮的部隊;一種是歸附，包括削平羣雄所得的部隊和元朝投降的軍隊;一種是摘發，指因犯罪被罰充軍的，也叫作思軍，這種人在軍隊中是沒有地位的;一種叫探集，即徵兵，是按人口比例進行的，一家有五丁或三丁出一丁爲軍。前兩種是原有的武裝力量，而後兩者則是補充的武力，特別是探集軍在數量上佔了很大的比例。這四種來源的軍人都是世襲的，爲了保障固定的軍人數量，法律規定軍人必須娶妻，世代繼承下去，如無子孫繼承，則由其原籍家屬中抽壯丁進行頂補。
明代的衛所大都分佈在邊地和各省內，衛和所都有固定軍士人數，其下面還有總旗和小旗，軍士數也固定。
大體上是五千六百人爲一衛，長官是指揮使。衛又分五個千戶所，一千一百二十人爲一千戶所，長官被稱爲千戶，千戶所下分有十個百戶所，每百戶所有一百二十人，長官被稱爲百戶。所轄總旗二，小旗十，一個總旗領五個小旗，小旗有軍士十人。
藉此制度使軍隊兵源得到了充分保障。
國家政權在統一的基礎上也顯得更爲牢固了。因此，朱元璋的一系列改革，是一個歷史性的進步。重要的是統治全國的官僚機構更具有權威性，也更加集中、完備了，這也是史無前例的創舉。
