如果看過《大唐雙龍傳》的朋友，自然知道小説和電視劇中那個“得之可得天下”的楊公寶庫，正是楊素為謀奪天下所建;
如果熟悉“風塵三俠”的故事，自然也會知道，李靖正是從越國公府，拐帶走了楊素的侍女紅拂女;
“破鏡重圓”“成人之美”這兩個極常用成語，它們的故事源頭，同樣是不同的兩位男主角，分別得到了楊素的兩個姬妾。
而諸如《上下五千年》這樣影響甚大的歷史科普讀物，裏面提及楊素，無非是一個協助楊廣策劃陰謀，成為太子登上皇位，間接導致隋朝滅亡的禍國奸臣，也造成了大眾對他的通常印象。
豈不知歷史上的大隋越國公楊素楊處道其人，軍政全能，智勇兼備，才幹卓絕，是輔助隋高祖楊堅建立大隋帝國的重要元勛，亦是幫助楊堅開創“開皇盛世”的得力輔弼。
楊素出身的弘農楊氏，本是數百年名門望族，卻並沒有通常士族高門子弟那樣好空談而輕實務的習氣。他既長詩文，工書法，擅權謀，善識人。同時亦武勇了得，身先士卒，轉戰四方，論能力之全面，可稱不世之奇才
楊素用兵，步戰騎戰水戰皆長，尤擅以敵之長擊敵之長，在敵人最擅長的場地擊敗對手。如南朝擅水軍，楊素以水軍破之;突厥擅騎兵，楊素以騎軍大敗之。觀其征戰一生，戰必勝、攻必取，正兵、奇兵兼備，兵種的適應性、協調性、全能性，在史上諸多名將中屈指可數。
楊堅以漢人身奪北周朝權，鮮卑貴族不服，尉遲迥舉關東北齊故地數十州皆反，麾下兵馬數十萬，楊素隨名將韋孝寬東征，為分路軍主帥，並在此次戰爭中擊斬北周宗室宇文胄，立下大功。這次戰爭的勝利後，楊堅代周建隋之勢亦不可當。在無數代胡虜的欺壓下蓄勢待發，北方漢人精英終於得以重光華夏，中興漢統，楊素亦有功焉。
伐陳之戰，南陳軍隊集中水師主力，阻礙三峽峽口，楊素同時用騎、步、船三軍分襲敵方水陸據點，水戰突襲大勝陳軍，兩岸步騎協同作戰，摧毀其長江艦隊，南朝將士喪膽，畏之稱其為“江神”。
陳後主被俘後，江南各地降而復反，大者數萬人，小者數千人，互相呼應。楊素歷時百戰，越嶺翻山，次第蕩平。數百年的大分裂就此終結，華夏重新大一統，楊素居功至偉。
突厥汗國鼎盛時期，地跨西域和大漠南北，與東羅馬帝國夾攻波斯帝國，盡取中亞全土，疆域為當時全世界第一大國，威勢亦是舉世第一強國。北周和北齊兩國，長期對突厥爭相討好。
大隋立國後，楊素北征突厥，一改中原軍隊傳襲千年的戎車鹿角陣戰法，以騎陣對騎陣，輕勇先衝，大軍奮進,擊破突厥大汗親率十餘萬精騎，打得突厥達頭大汗重創而遁，「殺傷不可勝計，羣虜號哭而去」。
楊素再徵突厥，連勝敗之，待突厥退兵時，楊素僅帶數騎急行跟蹤，輕蹈險地，等夜晚突厥軍安營未定時，疾行而回調度大軍奇襲大破之，從此突厥遙遙遠遁，大漠之南無復虜庭。
而這場以楊素為最傑出代表的大隋反擊突厥戰爭，這也是隋朝真正的立國之戰，一次次接連不斷的出塞擊垮對手，令其不得不屈意求和，稱臣納貢，標誌着整個遠東乃至亞洲霸權的易主，從此大隋帝國才成為亞洲乃至世界至強。
楊廣即位，漢王楊諒舉二十萬大軍據幷州而反，楊素僅以數萬人東征平亂，先在高壁之戰，面對敵軍十萬大軍五十里戰陣，親自帶兵從山路襲敵後路，兩相夾攻，破殺楊諒部將趙子開十萬餘;再在清源之戰，以正兵決戰，又大敗楊諒十萬大軍，生擒當世第一猛將蕭摩訶，一舉平亂。
楊素治軍亦深具個人特色，嚴軍法、厚賞賜而喜徵誅，因此總能保持極高士氣，【先以數百人赴敵陷陣，不能而還卻者悉斬之。復進以數百人，期必陷陣而止。是以士皆必死，前無堅敵。】
李靖李衞公對此亦讚歎有加：【畏我者不畏敵，畏敵者不畏我。是以古之名將，十卒而殺其三者，威震於敵國;殺其一者，令行於三軍。】
如此一箇中國曆史上可能是最全能的頂級名將，原本應與韓白衞霍李嶽並列而無愧，卻因個人品行不佳，在通常大眾印象中僅留下陷害忠良、擅權亂政的奸臣之名，成為隋唐之交各類演義小説和相關影視的反派大boss，而其卓越的軍事才能反不為人知，確是歷史的一大遺憾。
楊素一生，喜奢華，好享樂，縱情至親，不脱豪門貴公子本色。
他令後世津津樂道的幾樁軼事，或真或假大都和他眾多姬妾相關，成就了“破鏡重圓“”成人之美“這兩個常用成語，再加”紅拂夜奔“，一共三段愛情佳話。
其實這三段故事正史不載，都是唐代傳奇小説所記述。唯一可考證的是楊素滅陳後，楊堅賞賜楊素【物萬段，粟萬石，加以金寶，又賜陳主妹及女妓十四人】，確實納了一名陳國公主為妾。
唐代人之所以會將這些美談，加諸楊素這個官方認定的前朝大奸臣之身，自然不是為了給他歌功頌德，想來亦是覺得這些真豁達大豪傑作為，主角也唯有是楊越公才恰如其分。
