明治時代の頃、屋守という所の古老の話が、神社に残っているとのことです。
「その昔、海が、入っていたころ、海岸べりに流れ着いたものが人間のような形をしていて、それが、黒い形であったので土地の人は『クロス』とよび呼び、神聖なものとして、祀ったという。のちに、『クロス』が訛って、『クロセ様』と呼ぶようになった。明治までは、黒瀬大明神とよんでいたが、のちに黒瀬大神となったと。」
（山上高人）