創建は建仁八年八月である。神功皇后征韓の御帰路、船泊りせられたこの処に、奥州から八幡宮を勧請した。三条天皇の長和五年十一月二日の大嘗祭に、内蔵権頭善滋朝臣為政が備中高岡神社の和歌として「祝子が祈るもしるく高岡の社の神や君をまもらむ」て歌っている。慶長年間に現在の地に移転した。享保十二年八月再建した。