楊素，出身於官宦世家，祖父是西魏的輔國將軍，父親則是北周的汾州刺史。自幼好學，精通經史子集，擅長草隸書法，文章也寫得極好。北周武帝曾讓他起草詔書，他下筆即成，文辭兼美，令武帝大爲稱讚。
儘管楊素的文才出衆，但其軍事才能更爲突出。他多次爲隋文帝楊堅制定平定南陳的計劃，組建了史上空前的水軍艦隊，並打造了高達五層、載戰士八百人的“五牙”鉅艦。在短時間內，楊素率領的水上鐵軍便將南朝的水軍掃蕩一空，南陳隨即滅亡。在隋軍佔領江南後，叛亂四起，楊素又領兵平定了叛亂。隋朝能夠一統華夏，楊素功不可沒。
隋朝統一大業完成後，隋文帝楊堅分三路對北方的突厥展開大反擊。楊素作爲其中一路的總指揮，率領訓練有素的騎兵力量和有針對性的作戰方案，成功地打敗了突厥騎兵，使得突厥人失去了銳氣。隨後，楊素扶植傀儡，使東突厥汗國與西突厥汗國分庭抗禮。
除了軍事才能，楊素的政治嗅覺也非常敏銳，在關鍵時刻決不站錯隊。在楊堅篡位北周之前，楊素便主動和他勾連在了一起，爲楊堅出謀劃策、衝鋒在前。到了楊堅的兒子們爭奪帝位的時候，楊素又早早地結交楊廣，爲其奪得帝位立下了汗馬功勞。
