創建は天平勝宝年間(749年～757年)である。天智天皇の御代に大和の三輪明神を勧請していたが、天平勝宝年間に、金山寺に脇田山安養寺を建立するに当り、現在地に遷座したと云う。
元暦年間(1184年～1185年)社殿を改築。元和年間(1615～24)に社殿を改築した。