抗日戰爭爆發後，劉伯承任八路軍第129師師長，和政治委員鄧小平一起，率部奮戰在太行山上。面對不可一世的日本侵略軍，他經常用“勇是男兒頭上的桂冠”、“無角綿羊受欺壓，有蟄的黃蜂不可侮”等話語來激發將士們的對敵鬥爭信心。
他指揮部隊先後進行了夜襲陽明堡、設伏七亙村以及長生口、神頭嶺、響堂鋪、晉東南反“九路圍攻”、冀南反十一路“掃蕩”、百團大戰中的正太榆遼等一系列著名戰役戰鬥，給侵華日軍以沉重打擊，創建了晉冀魯豫抗日根據地。
他堅決執行中共中央、中央軍委的戰略方針，積極組織正規軍、游擊隊和民兵相結合的遊擊集團，並組建大量武裝工作隊，實行“敵進我進”，向敵佔區、交通線廣泛出擊，粉碎了日僞軍的頻繁“蠶食”和殘酷“掃蕩”。與此同時，他率部多次反擊國民黨頑固派對根據地的進犯，牢牢把緊太行山這道華北抗日根據地的“南大門”，使“平遼半壁山”得以免遭敵寇的蹂躪塗炭。
劉伯承重視情報工作
劉伯承一向重視情報工作，“很注意抓‘舌頭’”。當年與日本人交戰時，劉伯承特別注意從日軍留下的物品中尋找蛛絲馬跡。有一次反“掃蕩”，手下一個參謀去廁所時看到了日本人用過的大便紙，拿過來一看，上面畫了一個大圓圈，寫了幾個地名，還寫了“29”這個數字。劉伯承結合當時的敵我情況，認真分析紙上信息，判斷敵人可能在29日對紙上寫的幾個地方進行合圍，便命令該地區部隊撤離。果然日軍在29日進行了“掃蕩”，結果一無所獲。
1942年的某一天，抗聯來了一位朝鮮族同志，到八路軍指揮部和大家合影，很是熱鬧了一陣。幾天後，有人報告：這位同志突然失蹤。劉伯承得知後，又結合其他信息，馬上給國民革命軍第十八集團軍副參謀長左權打電話：“我判定，他的失蹤意味着日本人馬上要大‘掃蕩’了!”有人認爲劉伯承太過敏感而不以爲然，但劉伯承找到專門負責保衛八路軍指揮部的陳錫聯，找好了撤退的羊腸小道。後來的發展也再次證明了劉伯承的判斷。
