唐朝開國後，許多地方還在分裂之中，農民起義軍和隋朝殘餘將領割據各地。李淵在長安安定之後便開始了長達10年的統一戰爭。
薛舉曾是隋朝金城郡的豪紳，公元617年，先稱西秦霸王，後又稱皇帝，佔據了全部隴西，兵力有十多萬人。薛舉起兵也想取代隋朝，自己做皇帝。公元617年12月，李世民率兵在扶風將薛舉打敗，將唐的勢力擴充到隴右一帶，進一步穩定關中局勢。公元618年8月薛舉病死，他的兒子薛仁杲繼續威脅長安。李淵命李世民爲元帥第三次出征，這次在淺水原將薛仁杲徹底擊潰，薛仁杲也投降了唐朝，隴西收歸唐朝。
平了薛舉父子之後，李淵又開始對付割據河西的李軌。在李淵建立唐朝之際，李軌稱帝。
公元618年，李淵爲了進攻薛舉，曾派人和他結盟通好。李軌非常高興，主動讓弟弟到長安做人質，李淵封他爲涼王。但冊封使節到達時，李軌的下屬對是否接受唐朝冊封產生分歧，李軌沒有聽信部下的話，又不肯屈居李淵之下，對李淵自稱;大涼皇帝臣軌”。雖然用了;臣”，但李淵並不領情，他不能允許還有一個皇帝的存在，於是加緊了對李軌的軍事行動。
爲了避免戰爭，李淵派安興貴去勸說李軌投降，安興貴是李軌戶部尚書安修仁的哥哥。李軌聽了安興貴的勸說沒有改變主意，反而說安興貴是爲了報答李淵的恩情纔來勸說他的。安興貴害怕李軌加害自己，便和哥哥一起謀劃，最後發動兵變，俘虜了李軌。河西於是平定。
劉武周也是李淵的一個勁敵，他起兵較早，和突厥勾結勢力比較強盛。公元629年，劉武周聯合突厥南下佔領了幷州，唐朝的幷州總管、齊王李元吉無力抵抗，棄城而逃。李淵先派裴寂出擊，也大敗而歸。李淵這時想放棄這個地區，遭到李世民的反對。最後李世民領兵出征，用堅壁清野消耗對方的戰術，全面擊潰了劉武周的部隊。劉武周逃到突厥，後來被殺。唐朝又恢復了原來在河東地區的統治。三個周圍的勁敵消滅之後，李淵便把注意力投向了中原。
在中原的主要對手是王世充，他原是隋朝的江都通守，隋煬帝楊廣被殺之後，他擁立楊侗爲帝，又打敗瓦崗軍，除了李密和部分軍隊外，其餘的瓦崗軍都被王世充收編。到公元619年，王世充踢開楊侗，自己稱帝，建立鄭國，定都洛陽。
李淵派李世民東征王世充，最後將王世充包圍在了洛陽一座孤城裏，王世充向北邊的竇建德求援。竇建德最後被李世民擊敗成了階下囚。王世充絕望之下只好獻城投降。竇建德的部將劉黑闥又舉兵反唐，不到半年就又恢復了原來竇建德的領地。
李世民又奉命征討，和劉黑闥所部兩萬人激戰，從中午到黃昏不分勝負，李世民便命唐軍決堤水攻，劉黑闥敗退投奔突厥，然後又捲土重來。李淵命李元吉征討，被劉黑闥擊敗。太子李建成又親自出徵，他採納了謀士魏徵的策略，安撫民心，最終瓦解了劉黑闥的部下，劉黑闥在敗退時被殺。河北和山東地區終於平定。
隋朝末年，蕭銑趁亂割據在江陵一帶。蕭銑佔領的地區非常廣闊，南到交趾，北到漢水，西達三峽，東及九江。但蕭銑和其他割據者一樣只是想偏安一地。蕭銑是原來南朝樑宣帝的曾孫，祖父蕭巖在樑被隋滅時逃到了陳朝，陳被隋滅時，蕭巖被押到長安斬首。但在隋煬帝楊廣時，因爲蕭銑和隋煬帝的皇后蕭氏同是南朝梁的後裔，所以又被任命爲羅縣縣令。由於隋末各地起義不斷，作爲樑朝的後裔蕭銑被地方將校推爲首領，割據反隋。於是，蕭銑也聲稱要恢復樑的疆土。隋煬帝楊廣死後，一些隋朝的將領也投靠了他，其地盤不斷擴大，成了南方最大的割據勢力。
李淵在派李世民東征王世充的同時，命大將李靖領兵南下攻取長江中游的蕭銑。然而，蕭銑這時爲了防止衆將奪其兵權，竟說要罷兵經營農業，導致自己和部將矛盾加深，許多將領離他而去。面對富有軍事韜略的李靖的大舉進攻，蕭銑雖然由於部將的叛離力量削弱，但也只得硬着頭皮應戰。李靖出奇制勝，在長江水漲、蕭銑認爲他不能用兵時，李靖偏偏說服衆將趁機進軍，大敗蕭銑軍。蕭銑最後聽從了中書侍郎岑文本的勸告，投降了唐軍。
割據江淮一帶的是杜伏威，他佔據歷陽，自稱總管。唐軍圍攻洛陽時派人招降他，杜伏威便投降了唐朝，被李淵封爲吳王。杜伏威讓屬將輔公石留下統領兵將，自己請求入朝，留在長安做了人質。幾年後，輔公石起兵反唐，稱帝對抗唐朝，結果李淵將杜伏威殺死，派大將李靖等討伐，不久，輔公石被當地武裝抓獲，送唐軍營中處死，江淮地區也宣告平定。
