第二師團始建於1873年(明治6年)，是日本帝國最早設立的六個鎮臺之一，稱爲仙台鎮臺，1886年改名爲第二師團，因其徵兵地位於仙台，也被稱爲仙台師團。第二師團主要下轄第4，16，29，30四個聯隊(1937年第30聯隊調出)。曾參與過西南戰爭、中日甲午戰爭(日清戰爭)、日俄戰爭、九一八事變、侵華戰爭(中國抗日戰爭)、太平洋戰爭等多次戰爭，是日軍中最有戰鬥力的師團之一。1945年于越南西貢(胡志明市)向盟軍投降。
第二師團的前身是仙台鎮臺(又稱東北鎮臺)，而東北鎮臺是1873年1月設置的，當時的大本營在舊仙台城的二之丸(今日本東北大學境內)，第二大本營(分部)在青森。甲午戰爭的時候，第二師團參加了威海衛攻堅戰。而日俄戰爭的時候所屬於黑木爲楨大將的第一軍，轉戰於九連城、遼陽、沙河以及奉天。1931年夏天被調去滿洲駐屯，然而被派去沒多久就爆發了九一八事變。作爲九一八事變的導火線，第二師團作爲主力攻擊了東北軍在奉天的北大營，之後轉戰於長春、吉林、齊齊哈爾和哈爾濱。1933年暫時被派回國整編。於1937年4月再次被派往滿州，駐屯在以哈爾濱爲中心的松花江區域。
七七事變爆發，第二師團的第16步兵聯隊被抽調出來參加了察哈爾作戰和徐州會戰。1940年秋天再次回國接受整編和補充新兵，原下轄的第30聯隊調出並和第3，36聯隊組建第28師團。另以第二師團留守部隊和預備役部隊爲基礎，重建第13師團。在日軍中，第二師團和熊本的第六師團一起被認爲是戰鬥力最強的部隊。
太平洋戰爭爆發後，第二師團立即被配屬給今村均中將的第16軍。在進軍南洋前，第二師團進行了改編，原有大部分主力部隊被保留和改編成其他部隊或留守部隊，真正派往南洋的是簡編的第二師團，無論是人員和武器裝備均不可同日而語，基本上是一個師團架子和大量新兵。此時1942年在日軍攻陷爪哇之後，第二師團被命令在當地執行警備和掃蕩任務。於是，第二師團被捲進了與其命運相關的所羅門羣島的戰役。1942年8月開始的瓜島攻堅戰，纔是第二師團惡夢的開始。
爲了奪下瓜島的飛機場，作爲先遣隊，第二師團派出了以步兵第4聯隊爲基幹而組成的那須支隊(支隊長那須弓雄少將)。爲了與此相配合，川口支隊(支隊長川口清健少將，福岡的第35旅團爲基礎)和那須支隊一同在瓜島登陸。9月2日，第一次瓜島機場爭奪戰以日軍的失敗而告終。10月初，第二師團主力在瓜島成功登陸，於24日和25日進行了第二次總攻擊。然而得到的又是慘敗，並且以那須少將爲首，步兵第16和29聯隊兩個聯隊長都戰死。雪上加霜的是11月3日，步兵第4聯隊聯隊長又戰死了。這就意味着在瓜島的第二師團失去了他們所有的步兵指揮官。再加上食物和彈藥的補給已經完全被切斷。“瓜”島變成了“餓”島(日語中，“瓜”的發音和“餓”的發音相同)，不斷有士兵餓死和逃走。日軍大本營終於決定中止瓜島爭奪戰，1942年下令撤退，而瓜島的第二師團的殘餘部隊直到1943年2月才全體正式撤離。之後，第二師團在菲律賓被重建。1943年9月開始第二師團被任命擔任印度尼西亞、馬來西亞和新加坡的警備工作。1944年，第二師團被投入到緬甸戰場，駐守仰光。1945年2月，第二師團被英軍趕出緬甸，最後在越南西貢向盟軍投降。
留守日本的第二師團則集中了原第二師團的精華，隨着戰爭進行，不斷擴編新部隊投入戰爭。1943年5月根據軍令陸甲第45號令，以留守第二師團的獨立步兵62聯隊爲核心，編成第42師團(內轄129、130、158聯隊，搜索第42聯隊，野炮兵第12聯隊，工兵第42聯隊，輜重兵第42聯隊，通信隊，兵器勤務隊，第1-3野戰醫院，獨立戰車第5、6中隊)，在第5方面軍編成內，主要負責日本東北地區、北海道和南千島羣島一帶的防務，戰爭結束時司令部位於北海道的稚內。
1944年4月4日，留守第二師團一部組建第72師團(內轄第134、152、155聯隊，野炮兵、工兵、輜重兵聯隊各1，通信隊和速射炮隊各1)，屬於第11方面軍序列，負責日本本土東北地區防務，戰爭結束時部署在福島縣。
1945年1月，爲應對“本土決戰”，大本營對原留守師團進行改變，共編成54個師團。留守第二師團約2萬人被編入新建的機動打擊第202師團(下轄第504、505、506聯隊，野炮兵第202聯隊，迫擊第202聯隊，速射炮隊，機關炮隊，通信隊，兵器勤務隊，工兵隊，輜重隊，第4野戰醫院等)，在第36軍編成內，主要部署在關東地區的第二線，是盟軍登陸關東地區時的重要反擊部隊。師團長片倉衷少將。戰爭結束時位於日本羣馬縣高崎市。
