当社は柴倉三座略記によれば、大同年中（806~810）玄賓僧都が巡錫中、森林の中から霊光が出ているのを不思議に思われ、ここに小祠をを設けられて本地仏を安置したのが創祀と伝えられている。
　もとは本尊として虚空蔵菩薩脇侍として千手観音と弁財天を祀っていたが、後にこの三尊の垂迹を大山祗尊、天兒屋根尊、木花咲耶姫尊とし、柴倉高安山三所大明神と称した。第１０１代後小松天皇御代、応永５年９月１５日初勤静人大願主藤原右衛門が社殿を建立し、第１０７代正親町院御代天正６年戌寅９月１８日御城主手庄口羽形部大元良御武運長久大願主柴倉対馬守が現在の本殿を再建する。
　天正４年に火災、天正６年に再建したが記録によれば大願主光林寺法印快順外８人その他氏子総代とあり、この大願主８人をもって八座として毎年９月の高岡神社例祭には順番で姫神子を三所大明神代神として馬に乗られて参詣したとある。
　神社の形態として実際に祭られたのは天正１０年９月１８日創建、神主安達民部則清、大工で大願主藤原右衛門長由とありこの時代と思われる。