古代“學士”這一稱謂，最早出現在周代，是指讀書的貴族子弟，後來演變成官名和有學問的人及文人學者的泛稱。魏晉以後，學士正式成了以文學、技藝供奉朝廷的官員稱呼。唐代，學士地位有很大提高，甚至可以參預朝政。
“大學士”之稱謂始於唐代，為官職名稱。因很多時候大學士一職常常由宰相、尚書、侍郎或軍機大臣兼領，所以此時的大學士，其榮譽的象徵意義又高於其職務的實際意義。
唐代有修文館學士、集賢院學士，為掌管文學著作之官，常常以宰相兼領知館、院事，稱“大學士”。宋代沿襲唐代制度，對學士中資歷威望高者，授予大學士。明清兩朝對大學士一職亦有設置。
唐中宗李顯景龍二年(708年)，設置修文館大學士，修文館後更名為弘文館、昭文館。唐肅宗李亨至德二年(757年)，設置集賢院大學士。自唐憲宗李純元和年間始，皆由宰相兼領。唐玄宗李隆基天寶二年(743年)，又曾設崇賢館大學士，亦由宰相兼領，唐德宗李適貞元四年(788年)撤銷。
五代後梁曾置金鑾殿大學士。
宋朝初年，沿襲唐代制度，宰相分兼昭文館、集賢殿大學士，其後又增設觀文殿、崇政殿大學士，由卸任的前宰相擔任，以示優待。
明朝初年，曾一度廢黜丞相一職。後因工作量實在龐大，明太祖朱元璋洪武十五年(1382年)不得不設殿閣大學士，為皇帝顧問，類似今日的祕書之職。一開始大學士並無實權，主要工作是替皇帝批答奏章，商承政務，官階為五品。若兼任尚書、侍郎，則可以加官到一品，成為事實上的宰相。明惠宗朱允炆建文年間，改大學士為學士，後明成祖朱棣復原制。明成祖朱棣於文淵閣始設內閣，延攬大學士入內閣。明仁宗朱高熾增設謹身殿(後改建極殿)大學士，後大學士常以三孤兼任尚書，地位尊崇，為皇帝起草詔令，指導批答奏章，號稱輔臣。大學士中居首者，號稱首輔，其權最大，近乎有宰相之權而無宰相之名。。明武宗朱厚照正德中期以後，內閣權力急速發展，但首輔大學士的職權仍無法與以往的丞相相比。
清朝沿用明代內閣制，但內閣的權力在一定程度上受到議政王大臣會議的限制。康熙時，議政王大臣會議的權力被大部剝奪，取而代之由“南書房”作出決策，參與機務。但此時的南書房不是正式機構，也不能行文或指揮其他衙門。雍正時設“軍機處”，有軍機大臣三人至六人、軍機章京(兼職，俗稱“小軍機”，在內閣中書等官員中選調)若干人，成為權力中樞，皇帝的詔令多由軍機處發出。軍機大臣成為事實上的宰相，軍機大臣及內外官員之資望特重者仍授大學士，以示尊崇。
