徐世績是山東菏澤人，後來舉家遷往河南，徐家在當時是大戶人家，所以徐世績和那些因爲家貧而造反的人不一樣，他真是爲天下蒼生着想。隋朝末年，很多百姓流離失所，身爲大戶的徐家經常賙濟百姓，但凡遇到窮苦的人，徐世績和他的父親就一定會幫助，因此在當地名聲很大，受到了鄉親們的愛戴。
後來天下大亂，各地都有義軍起兵反抗隋朝，而徐世績當時還是一個年輕人，懷着一腔熱血就地參加了瓦崗寨義軍。當時瓦崗的首領還是翟讓，徐世績爲了鄉親們不被騷擾，就時常勸說翟讓不要在家鄉劫掠，翟讓深以爲然，所以瓦崗的軍隊當地很受歡迎，很快就發展成爲了一股不可小覷的實力。
後來隋軍來攻打瓦崗，徐世績爲翟讓出謀劃策，多次擊退官軍，因此翟讓事事都以徐世績馬首是瞻。就在這個時候，李密反叛隋朝，徐茂公就勸說翟讓讓位給李密，這樣就可以收買人心，使得瓦崗可以更加的興盛，經過一段時間的考慮，翟讓同意了徐世績的建議，讓位給了李密。
後來瓦崗寨內亂，李密和翟讓火併，徐世績因爲冒死保護李密受了傷，因此得到了李密的重視。而以前翟讓的手下，都被李密分給了徐世績和單雄信等人，從此徐世績就成爲了李密的心腹。
後來被王世充擊敗，不得已投降了李唐，而徐世績雖然心中很不樂意，但是沒有辦法。雖然歸順了李唐，但是徐世績還認李密爲領袖，處處爲他着想，但是當時李淵還不信任李密，只是將他封爲魏國公，而實際上的權利都交給了徐世績掌管。徐世績爲了李密着想，就將原屬於瓦崗的土地編造成冊，他自己不上報，交給李密讓他上報，這樣就讓李淵解除了對李密的猜忌。
這件事被李世民之後以後，就覺得徐世績是個忠心的人，十分看重他。後來李密去世，原先的手下爲了避嫌都不敢去弔唁，只有徐世績在請示了李淵之後，一個人前往李密的墳前弔唁，並且跪在墳前痛哭，這件事之後，李世民更加的覺得徐世績是個值得重用的人，於是將他招攬，成爲自己的手下。玄武門之變後，徐世績因爲建國擁立有功，被封爲英國公，位列凌煙閣。
相傳當年單雄信和李唐有仇，不願意歸順，被擊敗之後，李淵要處死他，徐世績苦苦哀求，希望可以保單雄信，但是單雄信寧死也不歸順，李淵就執意要處死他。沒有辦法的徐茂公，只能來到單雄信身邊，將自己大腿上的一塊肉割下來，交給單雄信，這就表示自己和他同生共死的意思。單雄信死後，徐世績就將他的孩子們撫養成人。
後來李世民將他比較長城，可見徐世績的重要性，後來李治登基，徐世績有堅持擁護李治立武則天爲後，所以在李治和武則天時期，徐世績都安然無恙，只可惜後來他的兒子起兵造反，兵敗被殺，武則天一怒之下，追削徐世績等人的官爵，並將其墳墓挖開，徐世績死後落得了個開館戮屍的下場。
