李存勖是西突厥沙陀部酋長家族的後裔，本姓朱邪。因爲他的祖父朱邪赤心有功於鎮壓龐勳兵變，唐懿宗封他爲李姓，並編入宗室譜籍。李存勖的父親李克用在河東打下了一片基業，並被唐王朝封爲晉王。雖然李存勖是側妃所生，但他自幼善於騎射、膽略過人，而且略通微言大義、精擅音律，文武雙全，因此深得李克用的寵愛。在李克用去世後，李存勖繼承其河東節度使、晉王之位，開始正式登上歷史舞臺。
當時，李克用的養子李存顥、李存實等人自持手握重兵，又年長於李存勖，因此對他的繼位極爲不滿。李存勖對此心知肚明，因此繼位之初便表現的異常低調，這種低調的做法無疑極大地滋生了他們的野心。從早期的稱病不朝、見而不拜，到後來甚至直接慫恿李存勖的叔父李克寧發動叛變，李存勖則暗中取得監軍張承業、大將李存璋等人的支持，搶先發動，擒殺李克寧、李存顥等人，從而穩固了自己的統治。
同年四月，李存勖親自率軍救援被朱溫大軍圍攻的潞州，後梁軍隊知道李克用新喪，對此並無防備，結果被大敗，潞州之圍遂解。此後，李存勖犒賞將士、整頓內政，使得境內一派生機勃勃之景。
根據宋初王禹偁《五代史闕文》的記載，李克用臨終之時曾交給李存勖三支箭，代表了自己的三個遺願，一是討伐劉仁恭，攻滅幽州;二是征討契丹，解除北部威脅;三是消滅朱溫。因此，李存勖在解除威脅，穩定內部之後李存勖開始以這三個目標爲奮鬥目標。
天祐七年(910年)十一月，朱溫出兵意圖奪取成德、義武兩鎮，李存勖力排衆議發兵相救。在著名的“柏鄉之戰”中，李存勖大敗後梁軍隊，俘獲樑軍將校285人，斬首2萬級。後梁的精銳禁軍龍驤、神威、神捷全軍覆沒，成德鎮和義武鎮從此徹底倒向晉國。
經過"柏鄉之戰"的勝利後，李存勖開始對盤踞於河北的劉仁恭和劉守光采取行動，俘虜了劉仁恭並囚禁了劉守光。劉守光在失敗後向後梁求援，但後梁再次敗於晉軍，朱溫更是在這場戰鬥後不久被他的兒子朱友珪所殺，後梁陷入內亂。趁機，李存勖於天祐十年(913年)十一月親率軍隊征討，消滅了燕國。
天祐十八年(921年)，成德軍的張文禮發生兵變，李存勖派軍隊討伐，不久張文禮因病去世，他的兒子張處瑾繼續抵抗。與此同時，義武節度使王處直勾結契丹，企圖背叛李存勖，但隨後被他的義子王都囚禁，而王都本人則被契丹軍圍困在定州。次年，李存勖親自率軍北上，大敗契丹軍，解救了定州的圍困。同年九月，張文禮也被消滅，李存勖隨後兼領了成德節度使的職位。
天祐二十年(923年)四月，李存勖接受各地勸進，於魏州稱帝，繼續沿用"大唐"國號，延續了唐朝的國祚。他尊唐高祖、唐太宗爲祖先，史稱後唐。同年十二月，李存勖親自率領大軍攻取了後梁的都城大梁，滅掉了後梁政權，重新統一了中原地區，功業達到了巔峯。
可以說，經過15年的浴血奮戰，李存勖完美地完成了父親李克用的遺願，爲後唐的基業奠定了堅實的基礎。在這一年，李存勖還不到40歲，正值年富力強的時候，展現出了他的政治才能和軍事統帥風範。
