清咸豐十年(1860年)，太平軍攻佔蘇州、無錫，威脅上海。上海地方官蘇鬆太兵備道吳煦在富商楊坊支持下，於6月間招募了一支以西方人爲核心的小部隊，由29歲的美國船員華爾(Frederick Townsend Ward)擔任隊長，這支隊伍共有100多人，稱爲“洋槍隊”。華爾帶領洋槍隊多次在上海郊外與太平軍交戰，雖然屢屢失利，但屢敗屢戰，曾奪回了被太平軍佔領的松江縣城。
戰鬥中，洋槍隊形成西方人擔任軍官，中國人擔任士兵的模式，逐步擴充到2000餘人。同治元年(1862年)2月，洋槍隊得到清政府正式認可，授予“常勝軍”番號，由吳煦任督帶，楊坊和華爾任管帶，並授予華爾清軍參將的頭銜，實際負責指揮。半年後，華爾率軍救援浙江寧波，在慈溪與太平軍戰鬥中負重傷身亡。
繼任的“常勝軍”管帶是華爾的副手，26歲的美國人白齊文(Henry Andres Burgevine)，他同樣是一個缺少軍事教育的年輕人，脾氣比華爾更暴躁。接任僅幾個月，白齊文就因軍餉沒有及時撥發，帶隊搶走了楊坊庫存的4萬多銀元，還把楊坊打傷，遭到增援上海的淮軍統帥、江蘇巡撫李鴻章撤職。白齊文申訴無果後，轉身投奔了對手太平軍，爲慕王譚紹光訓練軍隊。兩個月後，白齊文回到上海租界，旋即被美國領事押送到日本。同治三年(1864年)，白齊文偷渡到福建，想要投奔漳州的太平軍，結果在廈門被清軍逮捕，押送到蘇州途中溺水身亡。
“常勝軍”的最後一任管帶，是30歲的英國人戈登(Charles George Gordon)，在同治二年(1863年)3月接任。與前任不同，戈登是科班出身的工兵軍官，參加過克里米亞戰爭、第二次鴉片戰爭。戈登在接任之後，一方面擴充“常勝軍”規模，另一方面加強訓練、嚴肅軍紀，使“常勝軍”從上海守備隊轉而成爲能和淮軍聯手發動進攻的勁旅，在與太平軍爭奪蘇南各縣鎮的戰鬥中發揮了重要作用。同年12月，戈登因李鴻章下令殺死了在蘇州投降的八名太平軍將領，憤而與其決裂。次年5月，“常勝軍”在攻佔常州之後調回崑山解散，戈登也以清軍提督的頭銜回到英軍。此後，他在多個英國殖民地任職，並晉升爲陸軍少將。
1885年1月，戈登作爲蘇丹總督，在馬赫迪起義軍的攻擊下戰死於喀士穆，終年52歲。
