楊素，字處道，出生於上流社會。他的祖父楊暄，北魏時任輔國將軍、諫議大夫。父親楊敷，北周時任汾州刺史。
少年楊素長相俊美，體態挺拔，性格大度，是個標準的帥哥，還是很有氣質的那類。他學習很用功，熟悉各種典籍，還善於撰文賦詩，寫得一手好字。即便如此，世人並不會因此而看重他，長得帥學習又好的人多了去了!倒是他那個曾做過北魏尚書僕射的從叔祖，卻很是推崇他，認爲他是一個具有非常之器的人，有超逸羣倫的才能，非一般人所能企及。當然這些都是後人記載，名人嘛，從小總得有點異兆纔好。
後來發生了一件事，打亂了貴族子弟楊素平靜安逸的生活：他的老爸在與北齊打仗的時候戰死了。本來一家人夠悲痛了，北周朝廷居然還不給撫卹金!這真是，是可忍孰不可忍!於是年輕的楊素上書周武帝，要他給個說法。人家皇帝日理萬機的，哪有空閒和你講理去!楊素這孩子也是被寵壞了，見自己沒有引起足夠的重視，他就一而再、再而三的上奏，終於惹得武帝惱了。“來人啊!給我把這渾小子拉出去砍了!”
楊素纔不怯他，也或許年輕氣盛的他根本沒把皇帝的話放在眼裏，他神情憤激、捶胸頓足：“誰讓我遇上了個蠻橫不講理的天子啊，死了也是活該的!”周武帝非常賞識他的膽量，不僅下令赦免了他，還贈給他父親榮譽稱號，諡號“忠壯”。
經過這件事後，武帝逐漸開始重用楊素，讓他做了車騎大將軍。有一次武帝命楊素起草詔書，楊素一氣呵成，寫的詔書通順流暢，詞語華麗。武帝非常讚賞，對楊素說：“好好努力呀年輕人!不用擔憂不富貴”。一般人聽皇上這樣說，肯定就會順勢爬杆，對皇上的栽培感恩戴德。而楊素則不然，他答道：“臣但恐富貴逼臣，臣無心圖富貴。”意思是說，只要自己努力工作，表現好了，富貴將不求而自至。楊素也確實沒有說錯，由於他的能征善戰，終其一生，他被兩朝五個皇帝重用，可謂富貴已極。
【軍事才能不凡】
北周建德四年，也就是公元575年，這年七月，楊素參加了生平第一個比較重要的戰役。這時候北齊和北周正“禮尚往來”打得熱乎。爲了替父報仇，楊素向周武帝請求做先鋒，而且率領的是他父親的舊部。不用說這一仗打勝了，因爲楊素一生幾乎沒有打過敗仗。此後一發不可收拾，隨着連年的征戰，楊素在軍事上的天分顯露無遺。
北周大象二年(公元580年)，年幼的周靜帝宇文衍即位，左丞相楊堅專政。楊素知道楊堅不是池中之物，於是主動投到楊堅門下，和他拉攏關係，稱兄道弟。楊堅也知道楊素是個人才，對於自己成就帝業會很有幫助，兩人一拍即合，開始爲改朝換代做準備。
公元581年，北周和平改革爲大隋，楊素隨即被楊堅任命爲上柱國。後來在統一全國的平陳戰爭中，自然少不了楊素的功勞，這裏就不用再提了。比起其他將軍來，楊素最突出的功勞當屬製造戰艦。楊素造的大戰艦名叫“五牙”，上面有五層樓，高百餘尺，能容納戰士800人。次一等的叫“黃龍”，能容納百餘士兵。還有“平乘”、“舴艋”等，大小不一。打仗的時候楊素威風凜凜地率領着幾千艘“黃龍”直搗黃龍，讓南陳軍措手不及，楊素順利地將南陳水軍全部俘虜了回去。
楊素打仗很不要命，他敢於突破常規，嘗試新的戰術。讓楊素威名更盛的一仗當屬與突厥的正面交鋒。
由於突厥的慓悍威猛，隋朝很少直接和突厥開戰，一直都是採用長孫晟的離間計來瓦解突厥。開皇十九年，也就是公元599年，突厥都蘭可汗進犯大隋邊境，隋文帝派楊素、高潁、燕榮等大將出兵抵擋。
都蘭可汗聽說隋軍來打他了，便與達頭可汗結盟，共同對抗隋軍。四月，楊素在靈州與達頭可汗的軍隊遭遇，開打已經不可避免。
突厥的騎兵十分慓悍，對敵的時候往來衝殺，銳不可當。在此之前，隋朝與突厥打仗時，因爲害怕他們的騎兵，所以都採用戰車、騎兵和步兵相互交叉配合的陣法，陣外四周擺上很多鹿角、蒺藜，大概是用來避免突厥的騎兵突然殺過來。拼命三郎楊素很不認同這種打法，認爲過於被動，難道你想光靠一些蒺藜、鹿角，就能扎死敵人?
豪氣沖天的楊素決心改變戰術，他下令把戰車和步兵都撤下去，直接和突厥人來個騎兵對騎兵，就不信我的兵比你們差!達頭可汗聽到楊素下這樣的命令，高興得快暈過去了：這不明擺着老天給我送戰利品來了?這傢伙還“下馬仰天而拜”，感謝蒼天給了自己這樣一個“愚蠢”的對手。拜完之後達利可汗就率十萬精騎直朝隋軍撲去。突厥求勝心切，楊素令騎兵迎了上去，他指揮大軍隨後跟進掩殺。突厥大敗，達頭可汗帶着重傷逃跑，他的部衆死傷無數，號哭而去，自此遠遁，再不敢覬覦大隋邊境。
這一仗再一次顯示了楊素傑出的軍事才能。戰後，隋文帝下詔褒獎，賜楊素縑二萬匹，及萬釘寶帶。連他的兒子楊玄感也位列大將軍，其他兒子楊玄獎、楊玄縱、楊積善都被封官，可謂榮寵冠絕一時。
