口碑によると、一千数百年前に屯倉の設けがあって、曲浦にそう枢要の地であったが、また海匪も頻々と出没した。巨巌が数十百個嶷立するこの要害の地に、下総の国から武神を勧請し、巨巌を鎮護神としたという。戦国時代に神社の後方の山嶺に、宍戸安芸守が拠り、御鏡一台を寄進した。現在末社に安芸神社があるのは、城主安芸守に関係があるといわれる。