一天晚上，憂心忡忡的李淵找親信裴寂一同喝酒，幾杯以後，開始述說心中的苦楚。經過一番安慰之後，裴寂建議道：“也許是時候做出決定了”，感興趣的讀者可以跟着小編一起往下看。
“什麼決定?”李淵半醉半醒地問道。
“取楊家天下而代之。”
“什麼?起兵謀叛?”李淵頓時清醒，難以置信地看着裴寂道。“這可是株連九族的大罪啊!”
“但是天意已決，”裴寂堅毅地說。
“在晉陽宮出現的夜光預示着未來天子正潛藏在此。不僅如此，對桃李章讖言的最新解釋亦可作爲明證。”
“什麼解釋?”李淵好奇地問。
“根據安伽陀的解說，第一個字‘桃’是指堯的名號‘陶唐’。但新解釋注意到‘陶唐’的第二個字——唐。這正是您封地的名字。尊敬的唐國公大人，您就是未來的天子!”
“接着說。”
“不反隋，結局又將是怎樣呢?如果未能完成皇帝交給您的重任，擊敗劉武周、突厥，在最好的情況下，您和您全家會被流放到地處遙遠且充滿瘴氣的嶺南;在最壞的情況下，您和您的
兒子會被一同問斬，家資充公。”
李淵陷入了長久的沉思以後又回到現實中來，嘆了口氣說道：“的確，情勢正如你剛纔所說。我不應該，也絕不會，逆命運而行。實際上，我自己曾考慮過這一問題。皇帝的命令使我別無選擇。但我並沒有奪取天下之心。”
“儘管如此，您仍然想起兵吧?”
“是的，但是起兵的目的是平息叛亂。”
“這個想法實在妙絕，大人。”
“我想將這支軍隊稱爲‘義軍’，你看如何?”
“義軍?這甚合我意。”
數日之後，李淵通過屬下牽線搭橋，去造訪當時德高望重的茅山派宗師王遠知道士。王遠知已經年逾百歲，是當時中國最長壽的人，精通各種法術。二十多年前，他隱居茅山時，應王子楊廣之邀前往江都總管府做客。
李淵來到王遠知的住所，快步走向大師，屈身下拜後，說道：“久聞大師威名。能夠親身造訪，甚是榮幸。”
“能見大人，實爲山人榮幸。我聽聞大人對相面一事頗感興趣。”
“如果您不介意的話，還請指點一二。”
李淵示意讓隨從離開房間後，王遠知觀視了他的面相，並仔細研究了他手掌和手指上的線條、圖案、斑紋、形狀，整整花了近二刻時。然後他低聲說道：“賀喜大人!您將是下一屆天子。”
“萬萬不可胡言。此語會給我李氏帶來滅頂之災。”
“請允許老夫爲大人解釋一下。老子說，‘隋朝將被我後人所建立的朝代所取代。此人應當尊崇我，我會護佑新王朝長盛不衰。’當然，老子姓李，與大人同姓，這所謂後裔非您大人莫屬。”
“不可能。”
“這全是親耳所聞，老夫只是如實傳達而已。”
“既然如此，萬萬不可與外人……”
“大人不必憂慮。讓天地作證，此事天知地知，你知我知。”
儘管有王遠知的預言，但李淵十分清楚，即便他將來有可能建立自己的王朝，要走的路依然十分漫長。他立即着手爲義兵起義做準備。根據他的命令，次子李世民要在當地組建一支軍隊;長子、權位繼承人李建成和四子李元吉將祕密離開河東郡，北上太原與父親會師。劉文靜出獄後不過數日，便爲其友李世民招募了一支有一萬多人的、不聽命於江都的軍隊。
6月23日早上，在留守府朝堂內，一位中層官員前來遞交一封密狀。李淵、王威、高君雅、李世民都在場。李淵讓王威接過密狀。但那位官員卻說：“只能留守大人親自過目。”
李淵打開密狀，看了一遍，帶着幾分驚訝的表情，轉向王威說道：“有人揭發你和高君雅串通突厥!”
高君雅怒不可遏地答道：“一派胡言!這是謀逆之人構陷我二人的奸計。”
劉文靜大喝一聲：“將他們二人綁起來!”
數名衛士一擁而上，制服了這兩位不幸的副留守。沒過多久，倆人的頭被砍了下來。李淵在總管府的大門口當衆宣佈王、高兩人私通突厥的謀叛之罪。隨即，義軍正式起義了。
