春秋時期晉平公十七年(公元前541年)晉國大將荀吳北伐勝利後便在太原地區建設了晉陽城，三家分晉之後晉陽曾經長期作爲趙國的都城。唐朝的開國皇帝李淵曾經因鎮守太原而被封爲“唐國公”，他又是在此處起兵反隋，最終建立唐朝。隨後，又有後唐、後晉、後漢、北漢等國或者龍興於晉陽，或者以晉陽爲都城，故晉陽有了“龍城”的別稱。
北漢是五代十國中唯一一個處在北方的國家，它雖然版圖很小，但是由於有契丹勢力的支持，它也成了後周和北宋的心腹大患。以雄武著稱的周世宗柴榮、宋太祖趙匡胤都曾經親征北漢，但均以失敗告終。宋朝建立初期，在趙匡胤、趙光義兄弟二人的努力之下，南方的南唐、後蜀等多個割據政權先後被翦除，中原地區完成了基本統一。在“先南後北”戰略的指導下，趙光義終於可以面對北方的敵人了。
太平興國四年(公元979年)，宋太宗趙光義御駕親征，在付出巨大代價之後終於攻破了晉陽城，北漢末帝劉繼元投降，北漢滅亡。
但是，就在吞併北漢不久之後，趙光義便在晉陽城外設置了一個巨大的臨時安置區，將晉陽百姓全部前往此處，隨後下令縱火焚燒了這個有着一千五百多年曆史的古城，旋即將汾水引入這片廢墟之中，晉陽城自此蕩然無存。
趙光義之所以這麼做，固然是因爲對負隅頑抗的北漢有着深深的仇恨，但是他更擔心的是北漢處於契丹勢力的覆蓋之下，一旦宋朝軍隊撤出，就很難保證這片國土的安寧。另外，晉陽自古多帝王，長期被人懷疑皇位來路不正的宋太宗，也擔心此地再有帝王崛起，威脅到自己的統治。
三年之後，趙光義派宣徽南院使、都部署判幷州加同平章事，大將潘美(即潘仁美的原型)駐守太原，並讓他在晉陽城附近興建新城。潘美將晉陽新城中的道路設計爲丁字形，有人說爲的是“釘”住龍脈，實則是潘美爲了防止契丹騎兵入城而有意爲之。
