早在西汉末年，普陀山并不叫普陀山而称梅岑山。是因为道士梅福在此修道炼丹而命名的。

到了西晋太康年间（公元280～289年），有佛教徒在普陀山偶然发现观世音现身。大家“扶老携幼、奔走相告，纷纷到普陀山拜谒”。

这在明朝宏觉国师《梵音庵释迦佛舍利塔碑》就有记载。唐大中元年（公元847年），有天竺梵僧来普陀山传教，在朝谒潮音洞时，又见到观音菩萨现身。

唐懿宗咸通四年（公元863年），日本高僧慧锷第三次来华交流佛教文化。在五台山礼佛见到一尊观世音菩萨像后非常喜欢，想带回日本供奉。

传说，当他所乘的船行驶到普陀山附近的莲花洋时，突然狂风大作，天地昏暗。慧锷只能把船靠上普陀山码头。谁知，船一靠码头，天色马上放晴，海上风平浪静。

慧锷见此又命开船，意想不到的事情发生了，不仅天气再次变坏，洋面上还涌动起莲花状的大浪。船一动也不能动。

一连三次都是如此。慧锷见此情形，面向东瀛（日本）本土祷告：菩萨不肯去日本就留在此处吧！于是，慧锷经潮音洞登上普陀山，留下佛像让当地居民张氏供奉，并把这尊佛像命名为不肯去（日本）观音。

到后梁贞明二年（公元916年），在张氏宅址上建起了“不肯去观音院”。这是普陀山历史上有记载的最早的佛教寺院。（后据考证，慧锷的船实为触了新罗礁）

唐以后，历代帝王多次赐金扩建普陀山寺院，倡导观音文化。公元967年，宋太祖赵匡胤首次钦派人到普陀山贡香幡，开了朝廷供奉先河。宋元丰三年（公元1080年），朝廷赐匾“宝陀观音寺”。

公元1214年，宋宁宗赵扩又赐匾额“圆通宝殿”，钦定普陀山为专供观音菩萨的地方。并根据佛经“补怛洛迦”，更山名为普陀洛迦山，也称为补陀洛迦山。由此，普陀山成为中国四大菩萨道场之一。