口碑によると、当社は６世紀前半の安閑天王２年５月、この地に来履屯倉（くぐつのみやけ）が置かれたため、吉備津神社の摂社・岩山神社の分霊を奉祀して岩山大明神と称したが、明治４年７月、岩山神社に改称した。
　文永２年（１２６５）２月再建、文明１０年（１４７８）再建などの古い棟札も残っている。現在の社殿は昭和８年１０月の改築。