創建は天文十四年である。戦国時代に當町の南境、大島村柴木の西端に聳える茶臼山に、大内義隆の幕下の大内摂津守が築城した時に、天災頻りに起り、又悪疫が流行して、人民が非常に苦しんだので、備中一の宮の吉備津神社の御分霊を勧請して、社を建て祈願し、その御霊験によって悪疫が終息したので、城の艮の方位に新に社殿を建立して祀った。その後悪疫が流行する時、旱害に苦しむ時は、部落民が集って祈願した。その後に社殿を改築し、九月八日の夜は大相撲を奉納し、翌日祭典を行う例となった。後世村内八幡宮の祠官が、この神社の祠官を兼ねるようになったので八幡宮の末社となった。現在の社殿は明治十二年八月の造営である。