黃顯聲的家人並沒有過多的被記載，就連黃顯聲的夫人也沒有被過多的提及。只是黃顯聲的孫子黃文祥曾經說過，奶奶經常說爺爺以前的故事。黃顯聲的兒子名叫黃耀華，曾任遼寧中心醫院的副院長。
當然除了妻子兒女，黃顯聲還有一位紅粉佳人，這也是一段傳奇的故事。在息烽監獄，黃顯聲曾經學過一些藝術，在獄中黃顯聲救活了一名被控參加學運被捕的福建女大學生黃彤光。在之後的接觸中，黃彤光就愛上了這位氣宇非凡、儒雅堅韌的將軍。1944年出獄後，黃彤光一面全力尋找路線營救將軍出獄，一面通過獄中的看守中內線與將軍私傳書信。最終兩人終於定下終身大事，將軍答應只要能夠出獄，願與黃彤光結爲連理。在定情時，黃彤光交給將軍一張紅紙，請將軍將來用它包結婚戒指來娶自己。
後來黃顯聲被楊進興給祕密殺害了，黃彤光得知消息之後，就在黃顯聲將軍死後第五天到紅巖山上面找黃顯聲的遺體，儘管除了黃彤光等幾人還有隨行的解放軍戰士等一同幫忙尋找，但是還是沒有找到黃顯聲的遺體。但是就在衆人都絕望的時候，黃彤光卻在一塊心途中看到了一片小紙片，黃彤光立馬就跪了下來找到了黃顯聲的遺體，而這片紅紙就是當時黃彤光送給黃顯聲用來包戒指的紅紙。雖然兩人沒有正式結婚，但是也算黃彤光是黃顯聲的家人吧。
要說黃顯聲的故事，除了黃顯聲和黃彤光在獄中的一段獄中戀情的愛情故事，另外的就要說說黃顯聲和小蘿蔔頭的故事了。
小蘿蔔頭原名宋振中，是解放戰爭時期的小烈士。宋振中的父母都是共產黨員，父親宋綺雲是楊虎城將軍的祕書。宋振中八個月的時候，他的父母被國民黨反動派祕密逮捕，他也被帶進了監獄。直到九歲去世，宋振中短短的人生中，竟有八年的時間都是在獄中度過的，對於一個孩子來說未免太過可憐了。
宋振中從小跟着母親徐林俠在女牢中長大，一直到四五歲還沒有見過關在男牢中的父親。由於終年住在陰暗、潮溼的牢房裏，吃的是發黴發臭的米飯，小振中長到八九歲時，個頭卻只有四五歲孩子那麼高，直到後來經過多次鬥爭，才同意由同監獄的政治犯黃顯聲將軍教“小蘿蔔頭”唸書。“小蘿蔔頭”學習非常刻苦，記憶力很強，也很懂禮貌，非常尊敬老師黃顯聲。當然黃顯聲也教會了小蘿蔔頭許多道理，也讓年紀小小的小蘿蔔頭深有黨性。
在國民黨潰逃之前，特務們安排殺害小蘿蔔頭和他的父母。殘酷的敵人用刺刀殺死了他的父母，又逼向小蘿蔔頭。小蘿蔔頭喊着：我沒有罪，我要出去。滅絕人性的劊子手劈胸就是幾刀，把他殺害了，年僅九歲的小英雄就這樣英雄就義了。解放後，人民政府追認宋振中和他的父母爲革命烈士。
作爲打響東北抗日第一槍的東北軍著名的抗日愛國將領黃顯聲，其壯烈又奉獻的一生值得人們去銘記，現在黃顯聲在遼寧岫巖的故居也被重新修建一心，被作爲是愛國教育基地供廣大的青少年等前往學習、參觀。
經過翔實資料的收集，修建人員對黃顯聲故居有了精準的規劃，精益求精，以“修舊如舊”爲思想，將黃家大院，重新展示在人們面前。黃家大院內的5座灰磚瓦房及4座炮臺基本按原貌修復，並於2005年9月27日舉行了竣工剪彩儀式,黃顯聲將軍的大兒媳趙玉雲及孫子黃文祥參加了故居修復竣工剪彩儀式。
在黃顯聲故居我們首先看到了灰瓦紅門的大門樓，門樓上方掛着“黃顯聲將軍故居”的燙金牌匾。走進院內，有一座黃身披大衣、英姿勃勃的黃顯聲將軍的雕像坐落在院中央，這個雕像是由岫巖偏嶺鎮的白雲石打造而成的，也算是對黃顯聲的一種尊重吧。這座雕像高2.98米，下面的花崗石臺座高1.1米，雕像四周的花壇9.18米，象徵不忘國恥“九·一八”。黃顯聲將軍故居屋內有黃顯聲兒時用過的搖籃及桌椅，院內東西兩側原黃家倉庫和僱工平房，現被建爲岫巖人民抗日鬥爭紀念館和黃顯聲將軍生平陳列館。
黃顯聲將軍一生戎馬，沒有在戰場上殉國，最後卻是被國民黨的間諜給殺死，對於這樣一位將軍來說，實在是一件令人憤懣的事情。
