後冷泉天皇の天喜年中の創建と伝える。文亀五年に作州高田城主三浦貞兼が玉藻明神を三浦家の鎮守として当神社に勧請して配祀した。後、虎倉城主伊賀氏の家老土井次郎左衛門の妻が、天正六年に社殿を造営した。後、玉藻明神と称えて加茂郷の鎮守として斎った。明治二年に土井神社と旧号に復した。明治五年に美保関から事代主神・美保津姫神を勧請して配祀した。