往昔、吉備中山に大吉備津彦命鎮座後、十握剣を宝物として彼の社に納めた。寛喜年中（１２２９～３２）に彼の社が回禄の際、御剣を此の地に遷して奉斎した。御剣は彼の社に奉遷後、御剣の縁に依って須佐之男命・天照大御神を跡地に祭った。後、須佐之男神・櫛稲田姫神・大穴牟遅神を祭って上社とした。寛永年中（１６２４～４４）社号を疫神社とし明治２年現在の社名とした。社殿は寛永６年（１６２９）、元禄３年（１６９０）９月、天保６年（１８３５）８月に夫々再興している。昭和３１年８月、本殿炎上。同５４年６月に本殿を改築した。