在公元578年，周武帝病死，宣帝即位。楊堅的長女做了皇后，楊堅升任上柱國、大司馬，掌握了朝政大權。加上年少的皇帝也比較昏庸荒淫，在羣臣中沒有威信，於是，楊堅便開始準備取而代之。
楊堅的行動多少讓小皇帝有所察覺，但沒有真憑實據，他也沒法處罰楊堅，何況他還是自己的岳父大人，更難下決心做事。楊堅爲了避免皇帝的猜疑，就想到地方上去任職，也爲將來有變時能利用實力爭奪皇位。於是，他便把這種願望告訴了自己的朋友、內史上大夫鄭譯。
到了公元580年，機會來了，皇帝決定出兵南伐。鄭譯便向皇帝推薦了楊堅，皇帝對鄭譯原來就很信任，於是任命楊堅爲揚州總管。但是，還沒等出征，周宣帝便一病不起。在鄭譯的參與和其他關西士族的支持下，楊堅他們做了一個假詔書，以宣帝遺詔的名義宣佈：楊堅以外戚身份入宮輔助政，任宰相，總攬大權，進封爲隋王，輔佐剛八歲的周靜帝宇文衍。
宣帝死後，楊堅等人並沒有立即公佈消息，而是趁機用假詔書奪取了軍政大權，以及京城部隊的指揮權，等一切準備就緒後，這才發佈了皇帝去世的消息，輔佐小皇帝即位。
楊堅做了輔政大臣後，首先建立了新的領導班子，吸收了一些有才幹的人，穩定政局，並宣佈革除宣帝時的酷厲苛刻之弊，深得人心。然後又向威脅他地位的宗室各王展開了攻勢。
剛去世的周宣帝的弟弟宇文贊在朝廷中和楊堅的地位不相上下，是楊堅秉政的一大障礙。楊堅便派人對他說，你不必再這樣勞累地參與政事。以後的皇帝位置肯定是你的，你只管回家等着就行了。宇文贊一來年輕，二來也沒什麼謀略，就相信了。
沒了身邊的對手，楊堅又向其他的王下手了。已經成年而且在地方有些勢力的是五個王，如果他們聯合起兵，楊堅還很難對付。所以，在他們得知宣帝病逝的消息之前，楊堅便用假詔書將他們召回到長安，然後收繳了他們的兵權和印信。
五個王見自己無法與楊堅抗衡，便祕密聯繫在外的另一個王起兵，但不久便被楊堅打敗。五王只好尋機下手。一次，他們設下鴻門宴，請楊堅去，幸虧隨從的人有所察覺，拉他藉口跑出來。然後，楊堅便以謀反罪殺掉了主謀的兩個王，其他三個不久也被除掉。宗室勢力被消除後，楊堅的皇帝之路平坦了許多。
解除了中央的威脅後，地方勢力也開始反對他，河南、四川、湖北等地的將領紛紛起兵。經過打與拉兩手策略的較量，楊堅在半年後，終於平定了三地的軍事力量，徹底控制了北周的政權，做皇帝僅僅是一個形式的問題了。
到了公元581年的正月，楊堅走了一個前人使用過的體面形式——禪讓。他讓人替周靜帝寫好退位禪讓詔書，然後送到他的王府。楊堅假意推辭，最後才接受了大家的意思，穿上皇帝服裝，登上心儀已久的寶座。這時的楊堅剛四十歲。
因爲楊堅是繼承的父親的爵位隨國公，後來又進封爲隨王，因此把新王朝定名爲“隨”，但又覺得這個字有個和“走”同義的偏旁，於是，把這個不太吉利的偏旁去掉，成了“隋”。
年號也按照慣例改了，定爲“開皇”。但都城沒有變動，仍是長安。楊堅雖然改了隨字，但隋朝還是沒有逃脫短命的命運，僅僅三十年便滅了。說來也是巧合，當初楊堅奪取的是宇文氏的帝位，而他的兒子隋煬帝楊廣也是命喪宇文氏之手。
