隋煬帝獨斷專行、自以爲是，不喜歡臣下進諫，還誅殺了好些元老重臣，使朝臣們不敢講真話，統治階級內部分崩離析、衆叛親離。隋煬帝對人民殘酷的剝削和壓迫，迫使人民揭竿而起，全國各地掀起了起義的浪潮。
隋煬帝第二次發動對高麗的戰爭時，派楊玄感督運糧草。楊玄感的父親楊素原是隋煬帝的親信，幫助隋煬帝奪取了皇位，後來卻遭到猜忌而悶悶不樂地死去。楊玄感因此而對隋煬帝極爲不滿，很想利用天下混亂的局勢，乘機把隋煬帝推翻。
楊玄感發動運送糧草的八千個民工起義，但苦於沒有一個人替自己出謀劃策，就把老朋友李密請來當謀士。
李密的祖上是北周和隋朝的貴族。李密少年時在隋煬帝的宮中當侍衛，因爲過分機靈，隋煬帝覺得他不老實，就免了他這份差使。他回家後發憤讀書，決心做個有學問的人。有一次他騎着牛出門看朋友，坐在牛背上還在看書，正巧遇到宰相楊素，兩人便交談起來。楊素覺得這個年輕人很有抱負，就把李密介紹給兒子楊玄感，並對他說：“將來你碰到重要的事情，可以找李密商量。”
楊玄感起義，就找到李密請教：“我想推翻這個暴君，不知該怎麼行動?”
李密道：“從目前形勢來看，要推翻暴君，有三條計策可行。上策是：暴君正在攻打高麗，我們舉兵北上，斷他的退路，他沒了糧草，軍心波動，自然就敗了;中策是：奪取長安，把暴君的老家給砸了，如果他殺回來，我們可以憑險堅守，把關中做根據地;下策是：就近拿下東都洛陽，給暴君一個震撼。”
楊玄感急於求成，認爲前兩條計策太費事，於是就選擇了下策。馬上出兵朝洛陽打去，連打了幾個勝仗，許多農民要求參加起義軍，隊伍迅速擴大到十萬人。
隋煬帝收到告急文書，立即派大將宇文述等帶領大軍分頭攻擊楊玄感，很快就把這支起義隊伍給消滅了，楊玄感也被殺。
李密趁着混亂溜跑了，但官軍搜捕得很嚴密，不久他還是被抓住了。在押往隋煬帝行營的路上，李密和其他幾個被捕者商量，把隨身的財物都送給看押他們的士兵，趁他們忙於喝酒作樂、防備鬆懈時逃掉了。
雖然暫時脫離了危險，但東躲西藏總不是辦法，李密便決定去東郡(今河南滑縣東)投奔一支比較強大的起義軍。
這支起義軍以瓦崗寨爲根據地，多數成員都是擅長使用長槍的漁民和獵戶，還有一些貧苦農民，他們都很勇敢善戰。瓦崗軍的首領翟(zhái)讓，作戰驍勇，而且有膽略，有氣度，在瓦崗軍中有很高的威望。他率領瓦崗軍專門打擊官府富豪，前來投奔的人越來越多，起義軍隊伍擴大到一萬多人。
李密參加瓦崗軍後，幫助翟讓整頓隊伍，還積極聯絡附近各部起義軍，說服他們與瓦崗軍聯合，聽從翟讓指揮。翟讓非常高興，對李密越來越信任。
李密鼓勵翟讓幹一番大事業，建議首先攻打滎陽，並獲得了勝利。隋煬帝派大將張須陀帶重兵來鎮壓。李密請翟讓正面迎敵，自己則在滎陽大海寺北面的叢林裏設下埋伏，把張須陀率領的官軍引進圈套，全部殲滅，張須陀也成了瓦崗軍刀下之鬼。
從此，瓦崗軍聲威大震，李密的威信也提高了。他不但要求部下紀律嚴明，而且自己能以身作則，生活也過得很樸素，從而贏得了瓦崗軍上下的擁戴。
攻打滎陽勝利後，第二年春天，李密又建議翟讓趁隋煬帝到江都巡遊、東都洛陽空虛的機會，趕緊進攻洛陽。不料被官方察覺，加強了洛陽的防禦力量。李密當即改變計劃，建議先攻打洛陽附近的興洛倉(在今河南鞏義東北)，一戰而獲全勝。
興洛倉是隋朝最大的一個糧倉，瓦崗軍把它攻克後，馬上開倉賑(zhèn)飢。常年捱餓的百姓，從四面八方擁向糧倉，當他們領到糧食時，一個個眼中含着淚花，對瓦崗軍充滿了感激之情。
貧苦的農民紛紛參加瓦崗軍，孟讓、郝孝德等部起義軍也來歸附，瓦崗軍很快發展到幾十萬人，佔領了河南大部分郡縣。這時，翟讓感到自己的能力不如李密，就把首領的位子讓給了他。李密取得瓦崗軍領導權後，建國號爲魏，被推爲魏公，兼任行軍元帥，政權機構稱“行軍元帥魏公府”。
李密在整頓了內部機構的同時，發佈檄(xi)文，聲討隋煬帝的罪行，號召人民起來推翻隋王朝。他還大量起用隋的降官降將，引起原來一些起義軍部將的不滿。爲了鞏固自己的地位，李密又安排刀斧手，設計殺害了翟讓。從此，瓦崗軍內部發生嚴重分裂，開始走了下坡路。
