尚書出現得很早，可以追溯到先秦，秦朝時是少府的屬官。少府的職責是管理皇帝的財務和私人生活，其屬下有六尚，分別是尚衣、尚食、尚冠、尚席、尚浴、尚書，尚書可以看作是管理君主文書收發的私人祕書，職權地位都很輕。
到了東漢時期，尚書機構叫做尚書檯，因爲光武帝劉秀將三公吉祥物化，詔書不必像西漢時期那樣經過丞相和御史大夫的討論，而是可以由尚書檯直接發出，於是這個機構一下子就牛逼起來了，尚書檯的長官尚書令也被稱爲“三獨坐”之一。因爲成了起草詔書，出臺政策的地方，大臣要執掌朝政就必須錄尚書事，也就是掌管尚書檯。
由於尚書檯變得日益重要，其工作變得更加龐雜，機構也慢慢擴充。尚書檯發出的號令需要由九卿等政務官員進行實施，因而尚書要經常作爲皇帝的代理人對政務官員進行命令傳達、工作指導。漸漸地，尚書檯開始向着政務機構的方向發展，其管轄的各個部曹也有了正式的名字。
到曹魏時期設立了中書機構，分走了尚書機構掌握機要和參奏的職權，尚書檯便轉型成了政務機構。轉型後的尚書令和尚書僕射更像是主持政事的宰相，而負責具體事務的各部尚書則在職權方面和九卿產生了很大的重疊。關於尚書和九卿的職權重疊在西晉時期引發了大臣們的諸多討論，最後在東晉時期對九卿進行了大規模的裁併，從此尚書處理政務成爲了正規模式，尚書令也不再是皇帝的私人祕書，而是朝臣領袖了。
中書從誕生到發展都和尚書密不可分。中書產生於漢武帝時期，全稱是中尚書，從名字就知道這個職位和尚書有很大的關係。漢武帝爲了方便在後宮處理政務，用可以出入後宮的宦官擔任中書，負責傳遞尚書的奏章。
西漢時期中書時置時廢，東漢時沒有設置中書。到了東漢末年，曹操設置祕書令，主管尚書奏事，十分類似西漢時期的中書令，但祕書令由士人而非宦官擔任。曹丕代漢後，改祕書爲中書，長官叫中書監，次官叫中書令，仍由士人擔任。
曹魏的中書監機構取代了尚書檯典掌機要以及出納奏章的職權，成爲了皇帝個人新的辦公廳。並且由於中書監長期陪伴皇帝，其不但可以發佈政令，還可以參與政務決策。因而雖然尚書令的地位高於中書監，但官員們更加樂意呆在中書省。東晉時期的權臣通常都要一邊錄尚書事，一邊擔任中書監，以掌控全局。
到了南朝時期，由於皇權力量相比東晉有了大的進步，皇帝們開始削弱士族權臣，提拔重用寒人，於是中書監、令等的職權漸漸被轉移，地位輕微的中書舍人往往行使重要職責。到了南齊和南樑，中書舍人對中書省的控制正式形成制度化，機構也逐步完善，在中書舍人之下形成各個局，在政務方面指導尚書各曹，十分類似當年尚書和九卿的關係，這種機構也被人稱爲中書舍人省。但由於南陳被隋朝所滅，最終歷史沒有沿着這道軌跡發展下來。
和上述兩個機構相比，門下省的情況說麻煩也麻煩，說簡單也簡單。麻煩是指其組織機構的變化非常複雜，不好理清楚，簡單則是指其職能比較穩定，沒有大的變動。
門下最初不是一個特定的官署機構，而是對皇帝身邊的侍從、侍中、左右曹、諸吏、散騎、常侍、給事中等人員的統稱。這些人員裏最重要的是是侍中，侍中最初是加官，其職能包括服侍天子和充當顧問。到了東漢後期，侍中組織開始健全，設立了侍中寺的機構，成爲後來門下省的雛形。侍中寺的另一重要官職是黃門侍郎，也稱門下侍郎。
到了西晉時期，侍中寺進一步擴充，並改名門下省，散騎常侍和散騎侍郎也被歸入其中。魏晉時期的散騎常侍和散騎侍郎陪伴皇帝身邊，經常參與國事討論，屬於皇帝的顧問團隊，是由貴族子弟擔任的顯職。東晉時期撤銷了散騎常侍等，到了劉宋時期又重新設置，併成立了散騎省，又叫集書省，常被稱呼爲小門下，而南齊時期則乾脆把集書省交由門下省統領。但此時的集書省基本成了閒散機構，其職位一般都是作爲榮譽性官職授予年老官員。到了南樑時期，集書省又從門下省中被分離出，地位和職權也得到了提升，散騎常侍和侍中相當。門下省的部分職責也被劃給了集書省，例如省閱奏文、提出意見等，兩者成爲了並立的機構。
和尚書以及中書一直在改變職責不同，門下省長期都是皇帝的私人顧問，因而其地位也隨皇權的強弱而變化。在曹魏和西晉這種皇帝掌權的時期，侍中自然是重要職位，可以對政策制定起到關鍵作用。但到了東晉時期，侍中的重要性便隨之衰減。而到了南朝，侍中又再次重要起來，在皇帝授權的情況下，甚至可以直接行使政務。
