当社は、和銅５年（712）肩野物部（弓削建物部）乙麿が建立したと伝えられる。
　もとは王子宮又は王子権現と称していた。龍王山城主岸備前守氏秀の祈願所として、志呂神社と共に弓削庄内の信仰を集めていた。
　明治６年に下籾神社、同８年１０月籾山神社と改称した。明治１０年村社に列格した。