朱元璋是非常重視情報工作的，早在明朝建立之前，他就建立了一支專業的情報組織，即檢校組織。楊憲，曾任明朝丞相的人，不僅是檢校組織的成員，還是其中的骨幹和領導人，其他如高見賢、夏煜、凌銳等人也是其中的領導人。
元至正二十七年(1367年)，朱元璋打敗了張士誠，他在該地設立了浙東行省，並派自己的外甥李文忠擔任行省右丞和總管軍務，而楊憲則是作爲屬官跟隨並輔佐李文忠。實際上，楊憲除了協助李文忠外，還負責監視他的職責。
不久之後，楊憲向朱元璋報告了李文忠的不法行爲，指稱他任用了儒士屠性、孫履、許元、王天錫、王橚等人干預公務。接到楊憲的報告後，朱元璋立即將這五人押解進京，屠性和孫履被處以死刑，其餘三人則被髮配充軍。然而，明朝建立後，這個檢校組織就不再存在了。
錦衣衛的前身是元至正二十四年(1364年)設立的拱衛司，此後該部門多次改名，先改爲拱衛指揮使司，不久又改名爲都尉司。到了洪武三年(1370年)六月，又改爲親軍都尉府，負責管理左、右、中、前、後五衛軍士，並設立了儀鸞司。
洪武十三年(1380年)的胡惟庸案之後，爲了進一步加強皇權，監視和蒐集朝臣的動向，朱元璋於洪武十五年(1382年)裁撤了親軍都尉府和儀鸞司，改設了錦衣衛。最初，錦衣衛的職責僅限於守衛、偵察逮捕和執行詔獄，主要從事偵察、逮捕、審問等活動。
錦衣衛在成立初期主要從事值宿和偵察的工作，真正展現其威力是在洪武十八年(1385年)。在錦衣衛指揮使毛驤的操作下，原本已經塵埃落定的胡惟庸案再度引起波瀾，性質也從普通的“擅權枉法”變成了十惡不赦的“圖謀造反”，其目的是爲了爲朱元璋屠殺大臣尋找藉口。
然而，由於錦衣衛作爲直接向皇帝負責的部門，爲了將案件確立爲鐵案，採取了不擇手段的方式，出現了“非法凌虐”的問題。面對外界的壓力，朱元璋不得不在洪武二十年(1387年)下令將相關的刑具全部焚燬，並將囚犯交由刑部審理。朱元璋的這一舉動只是爲了平息民衆的憤怒，實際上錦衣衛仍然發揮着它的作用。就在同年六月，廣西都指揮使耿良因多次不法行爲被貶爲馴象衛指揮僉事，原因是“耿良在任期間多次違法，軍士薛原桂控告他，之後鎮撫張原進一步指證他有二十餘項違法事實，上命錦衣衛嚴密調查，證據確鑿，所以貶斥他”。
從洪武十八年(1385年)到洪武二十三年(1390年)，短短五年的時間裏，在錦衣衛的行動下，與“胡惟庸案”有關的功臣中有一公、二十侯受牽連，而受到連坐、死罪、黥面、流放等懲罰的人更是數以萬計。清中期的文學家趙翼曾感慨道：“難道有背叛者已經死去，而同謀的人竟然十餘年後才敗露嗎?這只不過是借胡惟庸的名義，通過審訊詞句將他們牽連進來，就像收割麥子和捕捉猴子一樣炫耀而已。”然而，毛驤作爲皇帝的得力助手，在“胡惟庸案”結束後，最終也被處死以平息民衆的憤怒。
太子朱標去世後，朱元璋爲了確保江山穩固，順利傳位給下一任皇帝，將目光轉向了一些傲慢自大的將領，其中包括藍玉等人。於是，在洪武二十六年(1393年)二月，錦衣衛指揮蔣瓛舉報藍玉謀反，結果牽連到十三侯和二伯，成千上萬人被連坐，處以死刑、黥面、流放等懲罰。朱元璋還頒佈了《逆臣錄》，公佈了一公、十三侯、二伯的名單。和毛驤一樣，蔣瓛在製造完“藍玉案”後，也被處死。
通過前後兩起大案，朱元璋逐漸認識到如果任由錦衣衛這樣辦事下去，將會造成巨大的危害。因此，在“藍玉案”之後，朱元璋在洪武二十六年(1393年)下令禁止錦衣衛參與司法事件的處理，所有大小事務都由法司負責。“詔內外獄毋得上錦衣衛，諸大小鹹徑法曹;終高皇帝世，錦衣衛不再參與司法事務，逐漸被削弱。”錦衣衛僅保留了值宿和偵察的兩項職責。
