鴨神社は今から千百六十年程遡った平安朝の初期、仁明天皇の御世承和三年に京都賀茂明神の分霊を奉祀し創建され「加茂大明神」「加茂宮」と称されていた。
　明治二十年太政官布告により鴨神社と改称された。源頼政公から五代目の孫で鴨山城主細川下野守通董公の頃から代々鴨山城主の祈願社となり、殊に旧鴨方藩主池田信濃守の崇敬厚く、年々初穂料を献納されたことが池田光政公累代家譜にも書き残されている。社殿は荘厳華麗であったが数度の炎上に遭い現在の幣殿・拝殿は明治四十五年の再建で、本殿は昭和十八年十月に再建されている。
　また「鴨方には過ぎたるものが三つある、拙斎、索我、宮の石橋」と昔から伝わる里謡がある。その鴨方三奇の一つが鴨神社の随身門下にある板状の石六枚を反らせて整えた太鼓橋が宮の石橋である。拙斎（西山拙斎）は鴨方に生まれ江戸時代中期に活躍した岡山を代表する儒学者である。索我（田中索我）も鴨方に生まれ江戸時代中期に活躍した岡山を代表する画家で、同郷の拙斎、索我は殊に親しく「索我描けば拙斎賛す」という仲であった。鴨神社近くに拙斎、索我の墓が建てられている。
　また鴨神社のすぐ下に平成十八年に「日本の歴史公園100選」に選ばれた「かもがた町屋公園」もある。