在對外關係方面，首先是對付北面的突厥。突厥原來是中亞地區的遊牧民族，後來向東遷移，活動在蒙古草原一帶。早在北齊和北周時期，變常騷擾內地。在楊堅執政北周時，和突厥和親，盡力搞好雙方關係。但在楊堅建立隋朝之後，突厥卻加緊了南下的侵擾，但被隋軍打敗。
爲了更好地防禦突厥勢力的侵擾，楊堅曾經三次修長城，鞏固北邊的防禦線。到後來，突厥分裂成了兩部分：東突厥和西突厥。東突厥因爲無法和隋朝抗衡，漸漸地採取了和緩政策，直到接受了隋朝的領導。西突厥則逐漸向西發展，對隋朝沒有了威脅。
北面安定之後，楊堅開始對付南方的割據勢力。首先是滅掉了後梁。後梁原來就依附於北周，楊堅開始也進行籠絡，等勢力壯大後，就邀請後梁的皇帝蕭琮到長安，其實是軟禁，然後派兵佔領了後梁國。
當時佔據江南的是喜歡酒色的後主陳叔寶。在公元588年的秋天，楊堅派兵五十萬，東到海邊，西到四川，在長江沿線向陳發動了全面進攻。而陳的兵力總共不過十萬，而且上下沒有積極地備戰，只是沉於酒色之中。結果當隋軍抓到陳叔寶時，前線的急報還沒有打開看過。
陳叔寶到了隋朝，受到楊堅的禮遇，但楊堅很愛節儉，陳叔寶卻建議楊堅造宮殿。有一次，陳叔寶應約赴宴，又向楊堅建議修宮殿，以示文治武功。楊堅表面上沒有說什麼，等陳叔寶走遠了，就對羣臣說，他就是因爲貪圖享受才落到今天這個地步，現在又來勸我學他那樣。
隋繼承北周的疆域，滅陳以前，統治地域包括長江以北的全部地區。隋初，南方存在兩個政權，一是建都於江陵(今湖北荊州)的後梁，一是陳。後梁民少國弱，本來就是附屬北周的傀儡政權。587年，隋廢后樑皇帝，後梁亡。隋滅陳以後，又擁有江南廣大地區。隋朝極盛時期的疆域，東西9300裏，南北近15000裏，東南臨海，西至今天的新疆，北至今天內蒙古杭錦後旗西。
