隋朝末年，農民起義遍及全國各地，隋煬帝楊廣於大業十一年(615)以李淵爲山西河東慰撫大使,不久又拜太原留守,職責是：對外，防禦突厥毛賊騷擾;對內，鎮壓農民起義。總之就是保護楊廣安心暢遊江南。
在晉陽之時，李淵手下有一支嫡系部隊。三個兒子在他身邊，大兒子李建成，二兒子李世民，四兒子李元吉，個個是能征善戰的人物，父子合力，共同想謀取天下，並非兒戲。加上當時政局混亂，大業十三年(公元617年)二月，劉武突然發動兵變，殺了太守王仁恭，佔據郡城，自立爲王，取名爲定楊天子，而且劍指太原。這不能不讓李淵躍躍欲試。
招賢納士，擴充實力
隋煬帝即位後，民間就流傳“李氏當爲天子”的讖謠，對李姓高官多所猜忌，但李淵通過“縱酒沉湎，納賄以混其跡”，表示自己胸無大志，免遭厄運。
李淵先後擊敗了甄翟兒、毋端兒、敬盤陀等人領導的起義軍，得到隋煬帝賞識。公元616年(大業十二年)初，李淵被任命爲太原道安撫大使，並擁有黜陟選補郡文武官、徵發河東兵馬的特權。七月，隋煬帝南下江都(今江蘇揚州市)前，任命李淵爲太原留守，另派王威、高君雅爲副留守，讓他們監視李淵。
此時，全國的政治格局已發生大的變化，農民起義軍已基本摧毀了隋王朝的統治力量，隋朝的官僚地主也紛紛打起反隋的旗幟割據一方。太原乃“天下精兵處”，隋自建國以來，對晉陽城軍需物資的儲備一直十分重視，經多年的積蓄，城中已是“府庫盈積”，“太原糧餉可支十年”。所以，李淵被任命爲太原留守後，曾對次子李世民說：“唐固吾國，太原即其地焉。今我來斯，是爲天與，與而不取，禍將斯及。” 在鎮壓農民起義的過程中，李淵招降納叛，不斷擴充自己的實力。《舊唐書·太宗本紀》稱其“潛圖義舉，每折節下士，推財養客，羣盜大俠，莫不願效死力。”《資治通鑑·隋紀七》說：“世民聰明勇決，識量過人，見隋室方亂，陰有安天下之志，傾身下士，散財結客，鹹得其歡心。”
順德與劉弘基就是在這個時候與李世民結成了生死之交。長孫順德是長孫晟的族弟，與劉弘基原本都是隋宮廷的宿衛軍官，因逃避遼東兵役，亡命太原投靠了李淵，因此與李世民相結納。這兩個人後來在募集義兵時都發揮了關鍵作用。劉文靜和裴寂也在此際先後加入了李世民“潛圖義舉”的行列之中。
獲罪下獄，被逼起兵
對於起兵，李淵最初也只有想法，沒有行動，因爲這等於叛亂，他不得不有所顧慮。但是後來發生的一件事，讓李淵鐵了心。
有一次，李淵派副留守高君雅和馬邑太守王仁恭與突厥軍隊作戰，結果兩人“戰略的不懂，戰術的不會”，慘敗而歸。隋煬帝知道後，下令將李淵下獄，將王仁恭斬首。後來，隋煬帝思前想後，權衡利弊，加上隋文帝的獨孤皇后是李淵的姨媽，最終把李淵放了。這一件事，徹底的震醒了李淵：原來隋煬帝從來沒有真正的相信過自己。
北結突厥，東和李密
隋末，東突厥汗國崛起，並擁有一支四十萬人的軍隊。北方豪強武裝都以突厥爲後援，向其稱臣。李淵也深知突厥的厲害關係：決不能讓突厥包抄後路。他在出任太原留守時，就曾對李世民說：“歷山飛不破，突厥不和，無以經邦濟時也。”李淵用空城計嚇退突厥兵後，立即親自寫信給突厥始畢可汗，說：“我今大舉義兵，欲寧天下，遠迎主上(指隋煬帝)還，共突厥和親。……若能從我，不侵百姓，征伐所得，子女玉帛，皆可汗有之。”始畢可汗得書後大喜，但堅持要李淵稱臣於突厥。李淵爲免突厥包抄後路之患，只好答應。起兵南下之前，突厥送來戰馬千匹。南下至龍門時，突厥始畢可汗又派500人、2000匹馬趕來助戰。突厥人、馬的補充，使李淵的騎兵力量大大增強。
而此時的李密瓦崗寨起義軍也擁有三十萬人馬、戰將千員。李淵同樣得討好他們，令溫大雅帶着他的信去見李密，信中一面吹捧李密是當今天下大亂之際唯一能寧世安民的英雄，表示對李密的擁戴;一面剖白自己胸無大志，無意滅隋，從而使李密放鬆了對他的警惕防範。
入關中，挾天子
大業十三年(617)在晉陽殺死副留守王威和高君雅，正式宣佈起事。
(劉文靜(568年-619年)，字肇仁，京兆武功縣人，唐朝宰相、開國功臣。圖片來源於網絡)
七月，李淵與長子建成、次子世民揮師南下，先後破霍邑(今山西霍縣),渡黃河，向西南挺進。當時,隋煬帝遠在江都(今江蘇揚州)，關內隋軍力量薄弱;中原瓦崗軍與王世充激戰方酣，均無暇西顧。因此李氏父 子進軍神速,
十一月間攻入長安。李淵進入長安不久,就宣佈遙尊隋煬帝爲太上皇,擁立煬帝孫代王楊侑爲帝,改元義寧，這就是隋恭帝。
恭帝進封李淵爲唐王，以李建成爲唐王世子;李世民爲京兆尹，改封秦國公;封李元吉爲齊國公。義寧二年(618)李世民徙封趙國公。
廢天子，建唐朝
義寧二年(618)三月，隋煬帝在江都被部將殺死。李淵廢掉隋恭帝，即位，國號唐，建元武德，定都長安，是爲唐高祖。李淵以李世民爲尚書令。不久，又立李建成爲皇太子，封李世民爲秦王，李元吉爲齊王。
唐朝建立後，唐高祖面臨的首要任務是以關中爲根據地統一全國。爲此，他派李世民攻打據有金城(今甘肅蘭州)等地的薛舉。武德元年 (618年) 十一月俘殺薛舉子薛仁杲，平定了西北廣大地區。
同年冬，幽州羅藝降唐。
武德二年，唐朝出使涼州(今甘肅武威)胡商安興貴、安修仁兄弟計擒李軌，平定了 河西走廊。
同年,劉武周、宋金剛勾結突厥大舉南攻,佔領了今山西省大部分地區。唐高祖派李世民率軍征討,於 武德三年收復幷州(今山西太原西南)，劉武周北走突 厥，不久被突厥所殺。
這時，黃河流域形成竇建德的夏 政權、王世充的鄭政權與唐政權鼎足而立的形勢。李淵 派李世民東征王世充，鄭、夏結成聯盟抗唐。
第二年，竇建德被李世民所俘，王世充被迫出降。竇氏餘部受唐迫害，因而在劉黑闥的領導下兩次起事，並聯合突厥兵南攻。李淵先後派秦王李世民及太子建成率軍東討。建成於武德六年俘斬劉黑闥，平定了河北地區。
在江淮方面，李世民東征時,佔有丹陽的杜伏威受唐朝冊封爲吳王,不久，又親赴長安朝見唐高祖。
武德五年(623年)，嶺南(今廣東、廣西一帶)馮盎降，唐以其地置八州。同年，據有虔州(今江西贛州)的林士弘死，其地爲唐所有。
次年，杜氏的江淮餘部在輔公□策動下再度起事反唐，據丹陽，稱宋帝。七年公□被執殺,江南平。武德四年唐大將李靖圍江陵,南朝樑代後裔蕭銑降,其於隋末所建的蕭政權被消滅。
李淵從太原起兵到攻克長安，只有短短的五個月時間，猶如神助。
