地方官制在秦漢時，本來只有郡、縣二級，後因地方權力不斷擴大，就增置刺史或州牧，直屬丞相，以制約太守，於是地方官制就由二級變爲三級了。隋初地方制還是州郡、縣三級，據《隋書·地理志》載，楊堅即位時，有州201個，郡508個，縣1，124個。州、郡、縣均分爲上上至下下九等。一般都有兩套職官，一套由吏部直接任命的官員，州除刺史外，還有長史、司馬、錄事參軍事、功曹、戶曹參軍事等;一套由刺史直接闢置的官員，如典籤、州都、郡正、主簿、西曹書佐、祭酒從事、部郡從事、倉督、市令等。郡也是如此，除郡太守、郡丞、郡尉由吏部直接任命外，還有光初光曹、光初主簿、縣正、功曹、主簿、西曹、金、戶、兵、法、士諸曹，均由郡太守自行闢置。縣除主官由吏部任命外，其僚佐也由縣令自行闢置。這套州、郡、縣地方行政機構十分龐大，上上州額定官員323人;上中州311人;就是下下州也有156人。上上郡額定官員爲146人，上中郡爲141人，下下郡也有97人。上上縣額定官員99人，上中縣95人，下下縣也有47人。州、郡、縣如此之多，官吏設置如此之濫，出現了“或地無百里，數縣並置;或戶不滿千，二郡分領”的狹小區域，形成了“民少官多、十羊九牧”的地方行政機構。楊堅接受了楊尚希的建議，按照“存要去閒，並小爲大”的原則，於開皇三年(公元583年)對地方行政機構進行了大規模的精簡整頓，把州、郡、縣三級制，改爲州、縣二級制，罷天下諸郡，以州直接統縣。州設刺史，縣設縣令。縣下五家爲保，五保爲閭，四閭爲族，分置保長、閭正、族正(京畿以外置里正、黨長)，對人民進行嚴密的控制。
隋文帝改革地方行政制度的一項重大措施，是完全廢除了漢代以來州郡長官可以自行闢署置僚佐的制度。州郡牧守自闢僚佐，是形成地方割據勢力的一個重要因素。有的屬吏和舉主之間，由於形成了牢固的封建依附關係，往往唯主之命是從，而置封建國家的利益於不顧。自魏晉實行九品中正制以後，世家大族壟斷了品第人物;薦舉官吏的權力，州郡僚佐的闢署，實際上又爲世家大族所左右。這種情況，不利於中央集權。北魏末年和北齊時期，州郡僚佐大多由吏部銓授，但州郡長官自署僚佐的制度並未廢除。隋文帝把州郡僚佐的任命權，完全收歸吏部，全國九品以上地方官均由中央任命，吏部考覈。同時規定縣佐必須迴避本郡，任期三年，不得連任。這樣就大大加強了中央政府對地方的控制。
隋煬帝大業三年(公元607年)又易州爲郡，地方官制變成郡縣二級。郡分上中下三等，各置太守，上郡從三品，中郡正四品，下郡從四品。京兆、河南則俱置尹，俱爲正三品。罷長史、司馬，置贊務(後改爲丞)爲次官。後來，諸郡各加置通守一人，位次太守，居贊務之上。京兆、河南，則謂之內史。以前，凡有駐兵處，則刺史帶諸軍事銜以統之。煬帝時則別置都尉，副都尉。都尉正四品，副都尉正五品，領兵與郡不相知。大興、長安、河南、洛陽四縣令，並增爲正五品。其餘諸縣根據其政務之繁簡及地域之主次以定縣令之等級。各縣均置丞及主簿如故。根據《隋書·地理志》的記載，大業五年(公元609年)的統計，全國有郡190個，縣1，255個。諸郡每年年終太守或佐貳都要進京述職，稱爲朝集使。朝廷不定期地派司隸臺官員或別使到地方巡察，以溝通中央與地方的密切聯繫。
除州(郡)縣以外，隋代地方還有兩類機構。一是行臺省，全稱行臺尚書省，相當於中央尚書省在地方的派出機關。總統某方面的軍政事務，凡管轄內的州縣皆受其節制，事權極重。開皇二年(公元582年)，置河北道行臺於幷州，以晉王廣爲尚書令，置西南道行臺於益州，以蜀王秀爲尚書令，置河南道行臺於洛州，以秦王俊爲尚書令。不久，又廢罷了。行臺省的主官是尚書令，次官爲僕射(左、右任置)。其下置兵部尚書、度支尚書及丞各1人，都事四人。又有考功，禮部，膳部，兵部，駕部，庫部，刑部，度支，戶部，金部，工部，屯田等侍郎各1人。每行臺還置食貨、衣圃、武器、百工監、副監各1人。二是總管府。隋初依北周舊制於諸州置總管府，分爲上、中、下三等，總管刺史加使持節，掌一州或數州的軍政事務。如秦王俊爲秦川總管時，“隴右諸州盡隸焉”。《隋書·高祖紀》載：開皇八年(公元588年)，晉王廣曾奉命統九十路總管，領五十一萬大軍伐陳。煬帝大業元年(公元605年)廢除總管府。但這個制度對唐代的地方官制仍有一定影響。
隋文帝爲了貫徹他的政策，非常注意官吏的選拔，並且實施法治，嚴明賞罰。如開皇元年(公元581年)下詔，表揚岐州刺史樑彥光，後來又表揚相州刺史樊叔略、新豐縣令房恭懿。開皇十一年(公元591年)，因臨潁縣令劉曠的考績名列天下第一，被升爲莒州刺史。五年以後，汴州刺史令狐熙於吏部考績第一，賜帛三百匹，佈告天下進行表揚。開皇二十年(公元600年)，齊州有個小官王伽，執法認真，關心羣衆，使歸家的罪犯自己按期到京城報到。這件事感動了隋文帝，他立即召見王伽，同時，令全國官員學習王伽的榜樣，詔諭各級官員以誠待民。
隋文帝不僅獎勵良吏，還勵行法治，嚴懲貪官污吏。他經常派人偵察內外官員，發現犯法行爲者便加嚴懲。他的兒子楊俊因生活奢侈，私造宮室，被他發現後，即敕令歸第禁閉，並廢爲庶人。有的大臣勸諫，隋文帝說：“法不可違”。又說：如果照你們的意見，“何不別制天子兒律?”楊俊死後，他的僚佐請爲之立碑，隋文帝也不允許，說：“欲求名，一卷史書足矣，何用碑爲?若子孫不能保家，徒與人作鎮石耳。”開皇二十年(公元600年)，他發現太子楊勇奢侈好色，便把楊勇廢黜，立楊廣爲太子①。由於隋文帝厲行法治，一般官員有所畏懼，貪污行爲相對減少，對人民羣衆多少是有利的。
隋文帝出身軍事貴族，“不悅詩書”。但作爲一個封建皇帝，他也免不了要提倡禮樂教化，用以作爲思想統治的工具。《隋書·高祖紀》載，開皇九年(公元589年)滅陳以後，他下令：“有功之臣，降情文藝，家門子侄，各守一經，令海內翕然，高山仰止。”又說：“制禮作樂，今也其時。”於是命牛弘、許善心等議定禮樂。仁壽元年(公元601年)，他在詔書中斥責國子學和州縣學的生徒雖然人數很多，但“徒有名錄，空度歲時，未有德爲代範，才任國用。良由設學之理，多而未精”。因而決定國子學只留學生70人，太學、四門及州縣學並廢。對於留下的生徒，“明加獎勵”，量才授官。
隋代品官祿秩，據《隋書·百官志》載：京官正一品，祿900石，其下每以100石爲差，至正四品，爲300石，從四品，250石;其下每以50石爲差，至正六品，爲百石，從六品90石;其下每以10石爲差，至從八品，爲50石。食封及官不判事者，以及九品，除春秋二季外，皆不給祿。刺史，太守，縣令，依其所治人口多寡，計戶給祿，各以戶數爲九等之差。大州620石，其下每以40石爲差，至於下下，則300石。大郡340石，其下每以30石爲差，至於下下則100石。大縣140石，其下每以10石爲差。至於下下則60石。地方官只有刺史，二佐，太守，縣令給祿，其他吏員不給祿。
