楊廣當了十四年皇帝，幾乎全部是在揚州度過的，是中國歷史上第一個在南方住比較長時間的皇帝。因此民間就有傳聞，說他修運河一個重要原因就想上那玩兒去。更有甚者，說他下揚州是看瓊花的。據說他有個妹妹叫楊瓊，和美麗，卻被楊廣看上，沒想到楊瓊誓死不從，最後自盡。楊廣怕醜事外傳，乾脆將妹妹的屍體運到揚州安葬。後來，在楊瓊的墓地，長出了一株奇異的花卉，老百姓從來沒有見過這種花，就稱它爲“瓊花”。楊廣聽說後就跑來看，可是花朵卻迅速凋謝了。楊廣大怒，用劍砍樹。在楊廣死後第二年，瓊花老根上又長出了新枝。
被公認描寫揚州瓊花第一人的是宋代詩人王禹偁，他於宋太宗至道二年（996）往揚州當知府的，離楊廣死亡的大業十四年（618）已有378年了，真相讀者們自己判斷了。
實際上，楊廣是揚州，還是溝通大隋朝南北問題爲主。
大隋建國，都長安，當時的揚州還叫江都，即現在江蘇省揚州市轄下的江都市。隋大業元年，楊堅將江都改爲揚州，管轄範圍包括今江蘇省淮南、江北地區及鎮江、丹陽、句容，安徽省天長、全椒、滁州等市縣地。
當時，江南等地剛從陳朝“劃歸”大隋沒多久，爲了安撫江南，加強對江南控制，楊廣才頻繁下江南。如楊廣納陳後主第六女陳婤爲貴人，並特赦被流放的陳皇室子弟，允許回京師。楊廣還帶着大批中原學者隨行，如大文豪薛道衡，博學通識的牛弘等，還有大批僧尼道士，在江都宣傳佛法。此外，楊廣還重用一批江南將領，如江都名將來護兒，大將沈光等。
除了努力消除南北文化差異外，楊廣下揚州還從軍事上考量。
爲三徵高句麗，楊廣必須拉攏和聯絡一切力量，需要從富庶的江南大量徵兵。爲了讓江南人“參軍”，也爲了威服四海，鞏固後方，籠絡江南等一系列好的效果，楊廣才巡遊江都。
第三，楊廣下揚州也是政治上的需要。三次遊江都，除了威懾江南，也要臣服外邦，撫慰南方少數民族。爲此，楊廣修建了規模宏偉豪華的江都宮。在幾年的時間裏，大隋威望迅速遠播四海。
