創建年月日不詳。吉備温故に、神功皇后が三韓御征伐の時、此処に船掛りせられ御揚陸の際、大きな亀が遊ぶのを御覧になり、遊亀山と名付けられた由、又村前に鉾島があり、天候が悪いので三種の神器をこの島に御移しになったところ、空が晴れたので、以来鉾島と称した由。この説は何の書にも見当らないが、古からの語り伝えであるから記すとある。この由緒により、その後宇佐八幡宮を勧請して産土神として奉斎したとの口碑がある。