金刀比羅神社の鎮座する高台は、昔から城山と言われている処で、島山左馬丞が山城を構えていたとも言われている。その昔、漁業不振に加えて、海難事故が相次いだので、讃岐国金毘羅大権現に願い上げ、御分霊を勧請し、既に祀られていた荒神社（向って左の本殿、かまどの神、三宝荒神）の相殿神としてお祀りしたことが始まりである。御祭神は、大物主命（大国主命の和魂）並に、崇徳天皇で、漁業・航海・殖産安全の神として、御神徳極めて高く、霊験あらたかな神であらせる。江戸時代に至って、名主那須肋三郎（豪商奈良屋）の寄進に依り、境内及び社殿の本格的な再建が行なわれ、文政２年（１８１９）本殿建立、天保１１年（１８４０）には、幣殿、拝殿の建立が成され、嘉永元年（１８４８）の大鳥居建立まで、約３０年の歳月をかけ完成されたものと言われている。然して、明治３２年、大正１０年、昭和５３年と数次に且り修理が繰り返され今日に至っている。殊に戦後の著しい荒廃の為、一時は廃宮とまで取り沙汰された当社が、良識ある地区民の協力に依り見事復興した昭和５３年の昭和の大修理こそは、後世の範として禾く伝えられるべきであろう。又、この地は、瀬戸内海国立公園でも有り、風光明眉、眺望絶佳にして、四国の連山はもとより、遠く播磨灘の島々まで望むことができる。