公元604年(隋文帝仁壽四年)，楊廣弒父殺兄登基執政後，又窮兵黷武征伐高麗，並大興土木，修宮殿，鑿運河，修馳道，把社會經濟推向絕境。史稱“黃河之北，則千里無煙;江淮之間，則掬爲茂草”。廣大人民“百姓困窮，財力俱竭，安居則不勝凍餒，死期交急，剽掠則猶得延生，於是始相聚爲羣盜”，最終演變爲全國各地風起雲涌的農民起義。
在山西，公元615年～617年(大業十一年至大業十三年)之間，農民起義達到高潮，先後有六七支起義隊伍轉戰各地。在山西南部，有毋端兒起義軍，衆至數千人，曾進攻龍門縣(今山西河津市);有敬盤陀領導的絳郡(治今山西新絳縣)起義軍，衆至數萬人。在山西中部，有甄翟兒領導的“歷山飛”起義軍，多次進攻太原。在此形勢下，公元615年(大業十一年)，隋煬帝任命李淵爲山西、河東慰撫大使，命其剿滅活躍在今山西地區的起義軍。
李淵(566年～635年)，字叔德，自稱隴西狄道(今甘肅臨洮縣)人。祖父李虎，西魏時官至太尉。父李昞，北周時歷官御史大夫、安州總管、柱國大將軍，隋時封爲唐國公。李淵7歲襲封唐國公。入隋以後，因其姨母是隋文帝的獨孤皇后，深受重用，曾任淮、隴、岐三州刺史，滎陽(今河南鄭州市)、樓煩(今山西靜樂縣)二郡太守。後被召爲殿內少監，遷衛尉少卿。隋煬帝即位後，因社會上流傳着“李氏當爲天子”的讖謠，對李姓高官多所猜忌，但李淵通過“縱酒沉湎，納賄以混其跡”，表示自己胸無大志，免遭厄運。
李淵到河東後，先後擊敗了甄翟兒、毋端兒、敬盤陀等人領導的起義軍，得到隋煬帝賞識。公元616年(大業十二年)初，李淵被任命爲太原道安撫大使，並擁有黜陟選補郡文武官、徵發河東兵馬的特權。七月，隋煬帝南下江都(今江蘇揚州市)前，任命李淵爲太原留守，另派王威、高君雅爲副留守，讓他們監視李淵。
此時，全國的政治格局已發生大的變化，農民起義軍已基本摧毀了隋王朝的統治力量，隋朝的官僚地主也紛紛打起反隋的旗幟割據一方。太原乃“天下精兵處”，隋自建國以來，對晉陽城軍需物資的儲備一直十分重視，經多年的積蓄，城中已是“府庫盈積”，“太原糧餉可支十年”。所以，李淵被任命爲太原留守後，“私竊甚喜”，他對次子李世民說：“唐固吾國，太原即其地焉。今我來斯，是爲天與，與而不取，禍將斯及。”在鎮壓農民起義的過程中，李淵招降納叛，不斷擴充自己的實力。李淵父子還廣結豪傑之士，網羅各種人才。史稱李淵“素懷濟世之略，有經綸天下之心。
接待人倫，不限貴賤，一面相遇，十數年不忘”。李世民在晉陽“密招豪友，一技可稱，一藝可取，與之抗禮，未嘗雲倦”，“傾財賑施，卑身下士”。晉陽令劉文靜、晉陽宮監裴寂皆爲李世民的密友，也是李淵父子晉陽起兵的主要謀士。李淵長子李建成也在河東暗中交結英俊，發展勢力。
正當李淵及其子李世民、李建成“與晉陽令劉文靜謀舉大事”時，公元617年(大業十三年)二月，李淵治下駐馬邑(今山西朔州市)的鷹揚府校尉劉武周發動兵變，殺死馬邑太守王仁恭，據馬邑而自稱天子，國號定楊。三月，劉武周攻破樓煩郡，進佔汾陽宮，並與突厥勾結，圖謀南下爭奪天下。煬帝聞訊後大怒，要提李淵到江都治罪。在此危急情勢下，李淵對李世民說：“事急矣，可舉事。”其周圍的心腹裴寂、許世緒、武士眜等也紛紛勸李淵起兵，李淵終於下定了反隋的決心。於是，李淵藉口防備劉武周和突厥南下，派李世民、劉文靜、長孫順德、劉弘基等人到各地募兵，旬日之內募集到數千人。隨後，李淵派人往河東召回其子李建成和李元吉。
太原副留守王威和高君雅看到李淵招兵買馬，懷疑李淵“有異志”，便密謀騙李淵父子到晉祠祈雨，除掉李氏，向隋煬帝邀功請賞。不料，這一密謀被晉陽鄉長劉世龍獲悉，告知了李淵。五月十五日，李淵、李世民先發制人，指使開陽府司馬劉政會告發王威、高君雅二人暗中勾結突厥，引突厥入寇中原，藉此將二人囚禁。
五月十七日，恰巧數萬突厥軍隊進攻晉陽，李淵立刻名正言順地命人將兩人推出斬首。同時，李淵又設下空城計，“開諸城門”，嚇退了突厥的軍隊。接着，李淵開始作起兵反隋的準備工作。
