長白山古時稱爲不鹹山、“太白山”，清朝時滿族人稱之爲白山(Golmin SanggiyanAlin)或“白頭山”，近代朝鮮半島人和日語中的漢字也都以“白頭山”稱之。長白山也以“白山”(指長白山)與黑龍江的“黑水”(指黑龍江)並稱，是中國東北的代名詞。
最早記錄我國東北長白山的史籍是戰國和西漢初成書的地理書《山海經·大荒北經》。書中稱：“東北海之外，……大荒之中有山名曰不鹹，有肅慎氏之國。”肅慎是東北的古老民族，活動在今延邊和綏芬河一帶。《後漢書·東夷傳》和《晉書·四夷傳》皆有“肅慎氏一名挹婁，在不鹹山北”的記載。
晉代以前長白山一直名稱不鹹山。後魏又稱“徒太山”、“太皇山”。《魏書·勿吉傳》載：“勿吉國南有從太山者，華言太皇，俗甚敬畏之。”到了唐代，又改稱爲“太白山”，《新唐書》載：粟末部“居最南，抵太白山，亦曰徒太山。”
長白山之名始於金代，而且一直沿用至今。《金史·世紀》載：“生女真地有混同江、長白山，混同江亦號黑龍江，所謂白山、黑水是也。”金代統治者認爲“長白山在興王之地，禮合尊崇議封爵，建廟宇”。因此，在大定十二年(公元1172年)十二月，封長白山爲“興國靈應王，即其山北地建廟宇”。大定十五年三月，奏定封冊儀物，每逢春秋二季，擇日致祭。明昌四年(公元1193年)十月，復冊爲開天弘聖帝。
到了清代，滿族統治天下，長白山在滿語裏叫“果勒敏(長)珊延(白)阿林(山)”。清朝以長白山爲發祥地，康熙十六年(公元1677年)，特命大臣覺羅武木納前往長白山拜謁，回京奏疏，議封長白山神，每年遣使致祭。康熙二十一年(公元1682年)，康熙皇帝東巡到吉林時，在松花江畔舉行了隆重的望祭長白山活動。清朝幾百年間，將長白山列爲封禁之地。
