昌泰４年（９０１）年１月、菅原道真公九州太宰府に左遷の途次、犬島付近にて暴風雨に遭い、この地の観音堂に難を避けられる。その後観音堂は宝琳寺となり菅公天神社を鎮守として祀る。後岡山藩主池田光政の代、寛文年間藩命によって天神社を寺から分離独立せしめた。菅公避難の際、衣装を境内の松に掛け、乾かしたという故事により裳掛天満宮と称す。