上次說到，6月3日太平軍利用穴地攻城破了全州，但太平軍本無固守全州的打算，次日，即全軍棄城北上。而清軍已然在四周雲集，江忠源更率千餘名楚勇，伐樹填河，又於江中預置木樁，阻斷蓑衣渡至西岸的江面交通。
江忠源，湖南新寧(今屬邵陽)人，道光年間舉人，響應號召回老家辦團練，號“楚勇”，配合清軍作戰。江忠源後來官運亨通，爲一方大員，現在還只是一個小小的知縣級別。此時，楚勇駐西岸，和春在城北，江忠源請和春分兵阻截東岸，和春不許。和春指派張國樑赴東岸防堵，張國樑卻遲遲不前，各將互相推諉，誰也沒有膽量孤軍紮營於東岸，因此江東一直空虛無防，爲太平軍留下了一條進軍的道路。
5日，太平軍分水陸兩路進軍，水路與楚勇發生交戰。經過幾天戰鬥，太平軍放棄水路，焚燒船隻，遺棄輜重，改由陸路向永州進軍。由於清軍勢衆，太平軍後衛節節後退，人員物資都有一定損失，此爲清軍吹噓的蓑衣渡大捷。
可以看到，蓑衣渡戰況並不激烈，賽尚阿寫給咸豐的奏摺裏提到過戰鬥經過：“且賊在全州大挫，既爲河路釘樁，不能遂其順江而下之志。察其焚棄舟船，輜重，婦女，銀兩逃走，情形似實較前窮困”。戰鬥雖小，卻馳名天下，究其原因，無外乎兩點：
其一：南王馮雲山在戰鬥中陣亡，殊是可惜。南王一向謙虛忠誠。不少人都在猜測，若他在，楊秀清不至於一步步坐大。若他在，一定會調節矛盾，不至出現內訌。這裏，正如蝴蝶輕輕扇了一下翅膀，歷史在不經意間就發生了改變。
對清廷來說，馮雲山的陣亡是針強心劑，在一片敗績的局勢下，這個功勞是誰也抹殺不了的，江忠源名聲鵲起，正肇始於此。
其二：新一代經世派的崛起，需要一個榜樣。從嘉慶時期開始，一些具有前瞻性和學識的官員面對局勢，極力提倡經世致用，倡導改良。他們敵視農民起義，也痛心朝廷腐敗，希望得到朝廷重用，道光時以魏源，林則徐爲代表，現在則以江忠源爲代表，後來的經世派會陸續登上舞臺：曾國藩，駱秉章，左宗棠，胡林翼。。。。。。在他們的吹捧推動下，蓑衣渡戰役成了伏擊戰，江忠源成了孤膽英雄，一步步走向了神壇。
全州攻城的拖延和蓑衣渡的挫折，並未使太平軍氣餒。清軍早在太平軍攻全州時，就在永州部署防務。太平軍見永州防守嚴密，遂放棄攻永州，轉而在天地會嚮導下，南取道州。
湖南提督餘萬淸，膽怯畏戰，從永州至道州，百里之間，高山險峻，險要極多，俱是一夫當關之地。但餘萬淸望風而逃，盡數放棄。不僅是他，清軍將帥很多都患上了恐懼症：6月8日，餘萬請逃至道州，所部與守軍合計僅500人，情知無法守禦。餘萬淸飛稟程矞採，詭稱保護長沙安全，要求移駐衡州，但被拒絕。6月12日，太平軍兵臨城下，知州王揆一請餘萬淸到西門指揮戰事，自己跑到東門，準備跑路。餘萬淸也不傻，將西門私自打開，一跑了之。太平軍至西門，見門未關，蜂擁而入。王揆一見大勢已去，投河自盡，被救起，又欲自刎，又被人將刀奪走。做了一番表演後，也逃之夭夭。太平軍輕取道州。
