段韶少年時善長騎射，有將帥之才。因母親婁信相是高歡妻子婁昭君的姐姐，所以高歡對他很是器重，常安排在自己的左右，作爲心腹看待。建義初年，爲親信都督。中興元年(531年)，跟隨高歡抗抵爾朱兆，戰於廣阿。高歡對段韶說：“敵衆我寡，怎麼辦?”段韶答：“所謂衆者，是得衆人之死;強者，是得天下之心。爾朱兆狂妄奸狡，一路上看到的，是裂冠毀冕，拔本塞源。邙山聚會，搢紳有何罪過?又殺主立君，不過半月，天下思亂，十室有九。王親行德義，除君側的惡人，何往而不勝!”高歡說：“我雖是以順伐逆，奉命討罪，但弱小處於強大之中，恐怕沒有上天的庇佑，你沒有聽說過嗎?”段韶：“我聽說過小能敵大。小道大淫，皇天無親，唯德是輔。爾朱兆外害天下，內失善人，智者不爲謀，勇者不爲鬥。不肖者失職，賢者奪過來，還有什麼疑惑的?”於是便同爾朱兆展開交戰，爾朱兆軍潰敗。進攻鄴地的劉誕。韓陵之戰，段韶率領自己的部衆，首先衝進敵陣。不久隨從高歡離開晉陽，將爾朱兆追趕到赤谼嶺消滅。因軍功封下洛縣男。又跟隨高歡偷襲、奪取夏州，活捉斛律彌娥突，加龍驤將軍、諫議大夫，累遷武衛將軍。後又將其父姑臧縣侯的爵位授予段韶，其下洛縣男的爵位則上表請求轉讓給繼母弟段寧安。
屢次封爵
興和四年(542年)，跟從高歡在邙山抵禦西魏宇文泰。高歡在兵卒之中，被西魏將軍賀拔勝認出，於是賀拔勝帶領精銳逼來。段韶騎馬從旁躍過，並回身用箭射擊，一箭就將最前面的追敵射下馬去，其他追騎害怕，不敢向前。西軍撤退，朝廷賞賜段韶馬匹、黃金，進爵爲公。武定四年(546年)，隨高歡征討玉壁。時高歡身患疾病，城池又沒攻下，便召集諸將，討論行動方案。高歡對大司馬斛律金、司徒韓軌、左衛將軍劉豐等人說：“我每次同段孝先論兵，都能聽到許多高見，如果讓他來參謀參謀，就可能沒有今日的勞累了。我擔心局勢危急，恐怕出現不測，準備委託孝先承擔鄴下的重任，怎麼樣?”斛律金等人回答說：“知臣莫如君，孝先是最合適的。”高歡又對段韶說：“往昔我和你的父親冒着危險，同佐王室，建立了大功。眼下病重得厲害，大概不行了，你應該小心輔助朝廷，承擔起這一重任。”馬上下令段韶隨次子高洋鎮守鄴城，召長子高澄趕赴玉壁軍中。高歡病情嚴重，遺令高澄說：“段孝先忠孝仁厚，智勇雙全，親戚之中，只有此人，軍旅大事，應同他商議。”武定五年(547年)春，高歡在晉陽去世，祕不發喪。不久侯景造亂，高澄準備回鄴城，留段韶鎮守晉陽。高澄回到鄴城後，賜給段韶女樂十幾人，黃金十斤，還有繒帛，封長樂郡公。高澄征討潁川，段韶留守晉陽。別封真定縣男，行幷州刺史事。武定八年(550年)，高洋受禪即位，建立北齊，是爲文宣帝。別封段韶爲朝陵縣公，又封霸城縣侯，加位特進。段韶上表請求歸還朝陵縣公，乞請封繼母梁氏爲郡君。高洋嘉獎他，別封梁氏爲安定郡君。又將霸城縣侯讓給了自己的繼母弟段孝言。是時受到輿論的誇讚。
討敵平亂
天保三年(552年)，任冀州刺史、六州大都督，有惠政，深得吏民愛戴。天保四年(553年)十二月，南樑將領東方白額偷偷來到宿預，引誘邊民，殺害長吏，致使淮、泗騷動。天保五年(554年)二月，文宣帝下詔段韶前去討伐。段韶率軍抵達。適逢樑將嚴超達等圍逼涇州;陳霸先又率衆將要進攻廣陵，刺史王敬寶遣使向朝廷告急;還有尹思令，擁衆萬人，準備襲擊盱眙。三軍恐懼。段韶對諸將說：“自從梁氏喪亂，國無定主，人心離散，強者從之。陳霸先等人智小謀大，政令不一，外雖同德，內實離心，你們不必憂慮，我的計劃已思慮周全。”於是留下儀同敬顯俊、堯難宗等圍守宿預，自己率領數千步騎兵急行軍趕赴涇州。路經盱眙，尹思令沒有料到大軍會從天而降，望風北奔。段韶繼續前進，又與嚴超達交戰，大敗嚴超達軍，奪取了所有的舟船器械。段韶對諸將道：“吳人浮躁，本無大謀，今天打敗嚴超達，陳霸先肯定會逃走。”旋即回師廣陵。陳霸先果然逃走。追至楊子柵，看得見揚州城纔回來，並且繳獲了許多的軍資器物，馬上撤退到宿預。六月，段韶派遊說之士勸降東方白額，東方白額因此開門請盟。段韶與行臺辛術等人議論，同意東方白額的請求。結盟完畢，估計東方白額會腳踩兩隻船，段韶下令將東方白額抓起來並殺了，連同他的弟弟們的頭顱，送到京師。江淮安靜，民皆樂業。文宣帝嘉獎他的功勞，詔令賞賜吳人七十，封平原郡王。清河王高嶽攻克郢州，活捉司徒陸法和，這次行動，段韶也參加了，築建魯城，在新蔡置郭默戍後返回京城。皇建元年(560年)，領太子太師。太寧二年(562年)，拜幷州刺史。高歸彥在冀州作亂時，武成帝高湛詔令段韶與東安王婁睿率衆平定。遷太傅，孝昭帝賜其女樂十人和高歸彥的果園一千畝。依然任職幷州，爲政是舉大綱，不存小察，所以甚得民心。
晉陽抗周
河清二年(563年)十二月，北周武帝宇文邕派將軍率領羌夷與突厥合衆圍攻晉陽，武成帝從鄴城出發兼程前往救助。突厥從北組成戰陣往前推進，東抵汾河，西達風谷。情況危急，兵馬未整，武成帝見此陣勢，也想往東逃避。但很快接受了河間王高孝琬的請求，下令趙郡王保護好諸將。此時正是大雪之後，周人用步卒作爲前鋒，從西山衝下，離城只有二里多路。諸將都想迎擊。段韶說：“步行的人氣勢必然有限，眼下積雪深厚，交戰不便，不如嚴陣待守。彼勞我逸，打敗他們是有把握的。”不久交戰，大敗周軍，周軍的前鋒全被消滅，無一活口，後邊的部衆連夜逃走。武成帝下令段韶率騎兵追擊，出塞後沒有追上而回。武成帝賞其功，別封段韶懷州武德郡公，進位太師。
解圍洛陽
北周大冢宰宇文護的母親閻氏先配中山王，宇文護聽說母親還在人世，於是就修書北齊，請歸還閻氏，並願通好。此時突厥多次騷擾邊地，段韶駐軍塞下防禦。武成帝派黃門徐世榮乘驛車帶着宇文護的信向段韶請教。段韶認爲周人反覆，不講信義，其晉陽之役，就是證明。宇文護對外是丞相，在內其實爲王。既爲母親請和，卻不派一介之使申其情懷。我們則依據一紙之書，就送還其母，這恐怕是在向周示弱。我認爲，姑且佯裝同意，等些日子再放不遲。武成帝不聽，於是派遣使者依禮送還。宇文護得到母親後，依然遣將尉遲迥等襲擊洛陽。武成帝詔令蘭陵王高長恭、大將軍斛律光率部抵禦，軍隊駐紮在邙山下，滯留未進。武成帝召段韶詢問：“現在我想派王去解救洛陽之圍，但突厥駐軍在這裏，又要派人防禦，王認爲該如何處置?”段韶說：“北虜侵擾邊地，是容易處理的事情，如今西羌窺視逼近內地，這纔是心腹之病，我請求受詔南行。”武成帝說：“我的意思也是這樣。”於是便命令段韶督察一千精騎，從晉陽出發。五天後就渡過黃河，段韶與手下大將商議辦法。段韶清晨帶領二百騎兵與諸軍一同登上邙阪，想看看周軍的陣勢。來到大和谷，就遇上週軍，旋即派人馳告各營，集中兵馬。段韶馬上同諸將擺開陣勢以作防備。段韶爲左軍，高長恭爲中軍，斛律光爲右軍，與周軍相對。段韶對着周軍喊：“你們的宇文護有幸得到母親，卻不懷恩報德，今天之來，究竟是何意思?”周軍說：“老天派我們來的，有什麼大驚小怪的?”段韶說：“上天賞善罰惡，大概是派你們來送死的吧?”周軍便將步兵擺放在前，向山上衝去。段韶認爲敵徒步我騎馬，就指揮部衆邊退邊引誘，候其疲憊，一齊下馬攻擊。短兵相接，周軍大潰。其中軍所指處，也是迅速瓦解，投墜溪谷而死的就有許多。包圍洛陽城的敵人，馬上逃遁，棄置營幕而不顧，從邙山到谷水三十里的距離內，到處都是拋撒着的軍資器物。武成帝親自來到洛陽，慰問將士，在河陰擺設宴席，款待衆將，又策勳命賞，拜段韶太宰，封靈武縣公。天統三年(567年)，除左丞相，又封永昌郡公，食滄州幹。
力敗周軍
武平二年(571年)正月，段韶由晉州道抵達定隴，築威敵、平寇二城後返回京師。二月，周軍寇掠，後主高緯派段韶與右丞相斛律光、太尉蘭陵王高長恭一同抵禦。三月底，到達西部邊境。柏谷城這個地方，是敵人把守着的天險，石城千仞，諸位將領沒有哪個敢於圍攻。段韶說：“汾北、河東若要爲國家所有，如不拔除柏谷，就像得了痼疾。估計他們的援兵，當在南道會合，如今截斷這一要路，使他的援兵無法趕來。他們的城牆雖高，但是很狹窄，用火弩射擊，完全可以攻下。”諸將認爲他的主意好，於是鳴鼓齊攻，城牆坍塌，俘虜其儀同薛敬禮，斬殺許多首級，仍然在華谷築城，置戍後凱旋，朝廷封段韶廣平郡公。
因病去世
同月，北周又派將軍寇掠北齊邊境。右丞相斛律光首先率領軍隊出討，段韶也請求同行。五月，攻打服秦城。周軍在姚襄城南再起城鎮，東接定陽，又挖出深塹，斷絕大道。段韶就偷偷抽調壯士，從北邊發起襲擊。又派人祕密地渡過黃河，與姚襄城內聯絡，請他們作內應，過河來的有一千多人，周軍纔開始發現。於是交戰，周軍大敗，虜獲其儀同若干顯寶等人。諸將都想向新城發起進攻。段韶不同意，說：“此城一面臨河，三面險地，不能進攻。即使攻了下來，也只不過是一座城池而已。倒不如再作一城雍塞其歸路，攻克服秦，齊心協力進擊定陽，這是最好的選擇。”將士都認爲這個主意好。六月，轉圍定陽，但定陽城主帥開府儀同楊範閉城固守，段韶軍未能攻下。段韶登山觀看城中的情勢，之後便縱兵猛攻。七月，奪取外城，斬獲許多敵軍首級。這時段韶突然在軍中病倒，由於內城還未攻下，他對蘭陵王高長恭說：“此城三面是深澗，沒有退路，只有東南一處可以與外面溝通。賊如果突圍，必須走東南這條路，我們挑選精兵把守，自然可以捉住逃敵。”高長恭便下令一千多壯士在東南澗口埋伏。這天深夜果然像段韶預計的那樣，周軍棄城而逃，伏兵一擁而上，周軍大潰，楊範兩手反綁投降，其衆全被俘虜。此時，段韶病情更加嚴重，因而提前回到了京師，以功別封樂陵郡公。同年八月己未日，段韶因病去世。後主在東堂爲段韶舉哀，贈帛千段及溫明祕器、轀輬車，出殯之日，軍士們列成儀仗一直送到平恩墓地，後主又徵調民夫爲其起冢。贈假黃鉞、使持節、都督朔並定趙翼滄齊兗樑洛晉建十二州諸軍事、相國、太尉、錄尚書事、朔州刺史，諡號忠武。
