口碑によると、貞観年中（８５９～８７７）小桁山極楽寺の僧円仁が、近江国日枝神社の御分霊を迎えてこの山に祀り極楽寺の鎮守としたという。作陽誌に、極楽寺の項の鎮守社山王十禅師とあるのは本神社のことである。最近まで極楽寺住職が例祭には必ず参列するのを例とした。本神仕はもと山王権現社と奉称したのを、明治４年高富神社と改称し、明治６年村社に列した。