明朝初定，洪武帝剛登大寶，後宮空虛。軍師劉伯溫和衆文武大臣紛紛奏本，要皇上快選娘娘和嬪妃，以保大明江山久遠。洪武帝准奏，於是衆臣有舉張家女的，也有保李家妞的。洪武帝雖也選了幾個嬪妃，可卻都不甚滿意，所以正宮娘娘之位一直空着。
洪武帝是馬上皇帝，整天拼殺慣了，再加上從小就給人放牛，苦出身，一見這些拿捏着架子走一步退半步的人，從心裏就膩煩。
軍師劉伯溫深知洪武帝心思，就奏道：“萬歲，臣聞好花開在山間，好女出在鄉間。萬歲既是不願在京城嬌娃中選正宮娘娘，何不親自到鄉間山野去選?一來可歇息遊玩，二來如看中投緣的，可立時招選來京。這樣一舉兩得，豈不甚好?”洪武帝一聽，正合心意，立馬准奏。
第二天，君臣幾人換上百姓裝束，離開了京城。多年征戰，難得能信馬由繮，一路遊山玩水，洪武帝好不高興。這天來到了下邳，前面有座大山擋住了去路，隱隱約約樹木掩映中露出了寺廟紅牆。看看天已不早，軍師劉伯溫奏啓：“天色已晚，不如就到山上寺廟借宿一晚，一來不需投店問路，二來寺廟中也安靜祥和。”洪武帝點頭應允。
來到寺廟近前觀看，門楣上書“瑞香寺”三個大字。進到寺中，只見殿宇宏偉，步入大殿，中立釋迦佛像，丈六金身，莊嚴慈祥，兩側環列十八尊羅漢。君臣人等敬供香資百餘兩，方丈親自接待，泡上最好的山泉香茶，並陪坐閒話。只聽老方丈說：“看各位是遠來貴客，定不知俺這寺廟爲何叫瑞香寺吧?”君臣搖頭說不知。老方丈說：“俺這寺廟是一位雲遊僧人到此，發現一寶鳳神鳥在此落腳，並口吐神種一粒。此神種落地就生根發芽，半天工夫，竟高有幾丈，並散發出陣陣撲鼻香氣，方圓幾十裏都能聞到。雲遊僧知此爲寶地，就在此處化緣建廟。廟建好後，就爲此廟題名爲‘瑞香寺’。
