我國的五岳是傳統的五行觀念和帝王封禪禮儀相結合的產物，以中原為中心，按東、西、南、北、中各個方位命名五座高山，世人皆知東岳雄、西岳險、中岳峻、南岳秀，唯獨北岳恒山，古今有別。

早在堯舜時期，我國先民就已經有了“岳祀”的禮儀，北岳恒山之名最早見于《尚書.舜典》，書中記載舜帝北巡時遙祭北岳，封其為“萬山宗主”，傳說當年舜帝巡游北岳，至大茂山遇大雪阻隔，人馬均無法前行，忽然從遙遠的北岳之巔飛來一塊靈石，墜于舜帝眼前，舜帝便趕緊下馬在大茂山前祭拜北岳大帝，數年之后，舜帝再次巡游北岳，靈石又落在曲陽，于是在靈石旁修建北岳廟。自此，后世開始在曲陽北岳廟祭祀北岳。

傳說自然不足信，但實數明確記載，恒山在曲陽縣西北，主峰大茂山，又稱之為神仙山，酈道元在《水經注》里對大茂山有過精彩的描述：“岫嶂高深，霞峰隱日，水望澄明，淵無潛甲，行李所逕，鮮不徘徊忘返矣。”祭祀在古代是即為重要的國家活動，建在曲陽的北岳廟，即是歷代帝王遙祭北岳恒山的場所，粗算一下，恒山的祭祀活動已有近2000年的歷史，據《恒山志》記載，秦始皇曾朝封天下十二名山，恒山被推崇為天下第二山；北魏太武帝拓跋燾登臨恒山祭祀北岳恒山大帝，恒山香火進入大盛，到了唐代，北岳恒山祭祀已成為國家安定的象征，皇帝頒詔，每年立冬之日或親臨祭祀，或派大臣與地方官員一道天子祭祀。

在很長的一段歷史時期，北岳的名號一直是屬于河北省的大茂山，自漢代至清初，歷代帝王均尊大茂山為北岳。明代以來開始有北岳位于山西的說法，有人認為在明代時，山西等地成為抵御北方游牧民族的軍事重地，地位日益重要，相關的自然人為景觀也受到人們的重視，直到清朝順治帝登基后，北岳祭祀正式改在山西渾源，自此，河北曲陽的北岳將自己肩負了上千年的皇家祭祀使命，連同北岳恒山的名號，一起移交給了山西渾源。

為什么會發生北岳移祀之事？還是要翻開歷史尋找答案，在明成祖朱棣遷都北京之前，山西渾源距離中央政權的距離太遠，皇帝不方便祭祀，漢唐的首都均在關中，處于政權中心北方的河北曲陽位置似乎剛剛好，北宋時期，山西渾源一帶是同北方游牧民族交戰的地方，不可能去山上祭祀，宋室南渡之后，北方大面積國土落入金人和蒙古人手里，他們本族沒有到山岳祭祀的傳統，也就仿照漢人的舊制，到河北曲陽祭祀，明朝遷都北京以后，因大茂山和北岳廟均在京城以南，再稱“北岳”就不合適了，于是才有了移祀北岳于山西渾源的提議，但是為了方便，明朝依然在河北曲陽遙祭北岳，直到清順治帝坐實了山西恒山的北岳之名。

恒山，作為道教的活動場所由來已久，相傳，我國神話中的古代道教八洞神仙之一的張果老就是在恒山隱居潛修的，在恒山留下了大量的仙蹤遺跡和神話傳說，不論是從民間傳說中還是在歷史上的志怪小說中，都能搜羅到一大筐關于張果老的景點地圖故事。

傳說中果老嶺上的小圓坑就是由張果老的坐騎踩出來的，在當地百姓心中，張果老可以說是恒山最有名的神仙了。老人家本名張果，由于他年紀很大，所以人們在他的名字上加一個“老”字，表示對他的尊敬，據張果老自稱，他是帝堯時代的侍中，到唐初，已活了3000多歲，他出入常倒騎一頭毛驢，日行萬里，休息時，便把毛驢像紙一樣折疊起來，收入行囊，重新上路時噴口水，又還原成了真驢，相傳他久隱山西恒山，往來于晉汾之間，唐太宗和武則天都曾想召見他，結果他借用法術裝死避開，后來唐玄宗欲求長生不老之術，屢次派遣近臣邀他進宮，拒絕多次后被唐玄宗召至京師，演出種種法術，唐玄宗十分佩服張果老，就授他“銀青光祿大夫”，賜號“通玄先生”。唐玄宗還有個好道的妹妹，叫玉真公主，唐玄宗就像把她嫁給張果老，不料，張果老卻堅持不受，還唱道：“娶婦得公主，十地升公府。人以為可喜，我以為可畏”。唐玄宗請來善相神鬼的道士葉法善打探張果老的底細，葉法善回應道，如果說出真相，自己會立遭天譴，玄宗安撫說會想盡一切辦法救他，葉法善指著張果老說：“此乃混沌初分白蝙蝠精！”話音剛落便七竅流血倒地，張果老憤憤說道，這家伙修行不夠，膽敢泄露天機，今日不除，日后還會再生事端，玄宗見狀再三懇求放葉法善一馬，張果老才往其臉上噴了口水，救活了他，然后掏出紙驢，吹氣成形，倒騎驢背走了，后來玄宗聽說張果老死后有人打開他的棺材，里面卻空空如也，于是下詔修建棲霞觀來紀念這位老神仙。