五佛山並不是新出現的名字，關於五佛山的名稱在當地有一個優美的傳說:相傳徐達修長城時，找到軍師劉伯溫來幫忙，軍師說:"五佛鎮關，太平萬年。你此去一定要找到靠山，條件具備，一切無事。"於是徐達來到山海關林中，只見有山有水，卻不見五佛，索性踏遍青山。
一日來到平林寺，拜訪一位方丈，方丈說:聽師傅講，這裏在北齊時就修了一道邊牆，俗稱老邊。風水先生修城時在這裏看到有五佛，就把邊關修在這裏一直到海邊，應了"五佛鎮關，太平萬年"之說。徐達向方丈求教指出五佛的所在，方丈與徐達登上高峯向西方望去，依方丈所指五佛惟妙惟肖的展現眼前。南面一座臥佛，東面站佛，西方坐佛，北方是彌勒佛，中心山上有一觀音大士，面向南海做朝拜狀。過去老百姓傳說五佛鎮關，太平萬年，就是這五座佛。
