東漢末年，黃巾起義後，各地農民土匪紛紛起義響應，黑山軍就是就是冀州黑山地區最大的一支隊伍。黑山是太行山的南端，地勢錯綜複雜，非常適合打伏擊。這個地方出現了大大小小二十多支的武裝勢力，號稱是“黑山軍”，黑山軍首領是張燕。
張燕是常山真定人，原叫褚燕，在天下大亂的時候，張燕也組織了一羣人佔山爲王，人數慢慢發展到了上萬人，後來和博陵人張牛角聯合到一起，張燕推張牛角做老大，有一次在攻打癭陶時，張牛角被流箭射死了，臨死前交代讓張燕做老大，於是褚燕就改叫張燕了。後來投奔他的人越來越多，周圍的一些頭目孫輕、王當等人也都投奔了張燕，隊伍發展到了百萬，號稱黑山軍。
在漢靈帝時期，黑山軍攻打過河北很多郡縣，此時天下大亂，朝廷根本顧不過就招降了張燕，封張燕爲平難中郎將。張燕也曾幫助公孫瓚打袁紹，在界橋之戰中，公孫瓚大敗，黑山軍也就逃散一些。
後來黑山軍中的於毒、白繞、眭固等攻打魏郡、東郡等地，這地方屬於兗州，當時兗州刺史還是劉岱，曹操還在袁紹手下，正好藉助這個機會，袁紹派曹操去抵擋，在濮陽打敗了白繞率領的黑山軍，曹操又用了“圍魏救趙”之計打敗了於毒眭固，俘獲了黑山軍很多人馬，擴充了自己的軍隊。
後來，張燕跟了曹操，平定鄴城後，封爲安國亭侯，賜食邑五百戶。
其實，看黑山軍這發展到最後，說白了就是農民起義土匪一羣，平時打個縣城還湊活，如果真正的遇到厲害點的軍隊，比如曹操，那只有望風而逃。他連袁紹的軍隊都打不過，更別說曹操了。
