胡林翼，其父親官拜四品，岳父是陶澎曾任兩江總督。少年時放蕩不羈，驕奢淫逸，輕裘肥馬，曾被人稱爲“少年天才”的他是典型的紈絝子弟。
道光二十一年，29歲的胡林翼因科場案受到牽連，在官場上連連受挫，讓他一度消沉。隨後不久，父親胡達源的去世，胡林翼不得不回鄉守制，他的第一次仕途也因此結束。
在鄉守制期間，胡林翼開始反省自己以前放浪形骸的行爲。仕途的挫折，讓他開始沉潛內斂。生於官宦之家，打小在皇城根下成長的他不甘於在家做個富貴閒人。
根據當時捐例，捐納爲官可以自主擇地，胡林翼本可以選擇一個發達的地方，挑個肥缺做官。但他是正途出身，曾官清要，捐納爲官已讓他蒙羞，所以寧願到邊遠之地，以區別於那些輸金爲吏者。
胡林翼最終選擇了貴州，其一，父親胡達源曾經任貴州學政，他也隨父親在貴州生活過一段時間，瞭解這裏的風土人情。選擇這裏既想追隨父親的腳步，又想在父親工作過的地方做出成績來。其二，現在天下幾乎無官不貪，只有在貴州這樣的邊鄙之地，官場風氣尚不太惡，可以自保清白，不負死去的父親，也不負國家。赴任之前，胡林翼專門回了趟老家，祭掃了父親的墳墓。他跪在父親墳前，發誓“不取官中一錢自肥，以貽先人羞。”
在胡林翼到任之前，很多人擔心這個富貴公子在艱苦落後的大西南待不長。然而一到貴州，胡林翼的表現讓所有人都深感意外。
胡林翼初署的是安順知府。安順位於貴州中西部，山水崎嶇，交通不便，最大的問題是土匪橫行。因此，剿匪是胡林翼的首務。
他深知民間情僞，知道當時各地兵丁和衙役都風氣極壞，只知撈錢，不辦正事，“兵將之滑者十之九”,“官兵數萬,已成廢器”。因此剿匪一事斷不能指望體制內的力量，只能指望於當地老百姓,所謂“治盜之法，與其用捕， 不如用民”。所以，他發動民衆訓練鄉勇來對付土匪。這一想法和曾國藩跳出體制創建湘軍的思路暗地裏不謀而合。他到任之後，宣佈地方百姓每捕一盜賞銀五兩。“寄以耳目，盡得盜匪姓名、狀貌及道里遠近狀”。就是說，通過實地走訪，從鄉紳百姓那裏獲得大量情報線索，然後率領鄉勇前去抓捕。胡林翼算過，這樣一來，不但效果好，而且費用低。用一千兵每月所費要六千兩，而一千鄉民不過一千二百餘兩。
得到百姓提供的情報之後，胡林翼親自率人緝捕，穿着短衣草鞋，爬高山，人深谷，顧不上寢食。誰還能想到，這個在大山老林裏艱苦跋涉的短衣芒鞋的漢子，幾年前還是一個輕裘寶馬、縱酒狂歌的紈絝子弟。到任一年，他前後捕獲有名大盜二百餘名。
因爲安順的成功，胡林翼的捕盜之名頓起，貴州省內，哪裏盜匪之患急上司就派他到哪裏。後來在黃平剿匪時，已是臘月，大家勸他過了年再去，趁他卻說這正是剿匪的好時機，匪幫毫無防備之際突然襲擊，擒獲大盜二百九十八名，困擾貴州多年的一大股匪患至此平息。
憑着這股一般人沒有的吃苦勁頭，他又漸次署理鎮遠、黎平等地。每到一地，匪患頓息。他的大名，不久就遠達京城，連咸豐皇帝都問“胡林翼官聲何以如此之好?”
