当社の創建伝説が記されています。仁徳天皇の御夢に熊野の神使である童子が現れ、この日本を平和で豊かな国にしたければ、神のお示しになる島にお宮を建立し、丁寧にお祀りしなさいと神託を下します。夢から覚めた天皇は群臣を召されて頻りに神事を執り行います。

仁徳天皇が熊野の神様の示された地を求めて探させたところ、あべの中洲の上空に妖しい雲が立ち込め、浪打ち際の松の梢に一匹のカラスが止まっていました。このカラスは首から上が雪のように白く、眼は太陽の光よりも明るく、足は三本のまさしくヤタガラスでした。

阿倍島にヤタガラスが出現した報告を仁徳天皇は非常に喜び、早速熊野の神様をお祀りするお宮を建立しました。これが現在の阿倍王子神社のご創建となります。

平安時代の天長3年（826）夏、天下に悪疫が流行し、淳和天皇は弘法大師・空海に疫難退散の祈祷を命じます。勅命を受けた弘法大師は阿倍王子神社に入り、御祭神である伊弉諾尊の本地仏・医王（薬師如来）の尊像を一刀一礼して彫刻し、これを草堂に安置して神宮寺と名付けました。次にあらゆる病気を治す功徳のある薬師経を一千部書写し、これを読誦して疫病鎮静を祈念しようとしたところ、弘法大師の徳に感応された諸神がたちまち降臨し、これをお助けになって一昼夜にして目的が達成されます。淳和天皇も深くご信心になり、「痾免寺」（病気を治す寺。阿倍寺という読みに通じる）と書いた勅額をお授けになり、弘法大師が書写した薬師経を阿倍寺に納めて日本の国を疫病から守ろうとしました。

弘法大師はその後高野山に向かおうとして、阿倍王子神社の神様に旅立ちのご挨拶をしようと参拝しますが、神様は大層お名残惜しく、御本殿から「今しばらくお側にいるように」と大師にお声をかけます。弘法大師は境内の池に自身の姿を写し、神殿の御帳に自画を描いて、これをお側に置くことで神様にご納得いただき、高野山に旅立ちます。

弘法大師の弟である真雅阿闍梨が阿倍野を通過しようとすると、死者を供養する卒塔婆に腰かける老婆を見つけました。阿闍梨は老婆にやめるよう説得しますが、この老婆は才知に長けていて阿闍梨に堂々と反論します。この老婆、実は絶世の美女・小野小町の年老いた姿でした。老女はきっと名のある人物に違いないと阿闍梨は胸中感じるところがあり、小町の姿を三枚描き、一枚は都への土産とし、一枚は阿倍寺に納めました。

あるとき中務御子（宗尊親王）が当社にお参りになり、和歌をお詠みになりました。

「あへ島や　岩うつ波の　よるさへて
住ともきかぬ　千鳥なくなり」

（阿倍島の岩を打つ波の音が、夜は冴えて響き、住むとも聞かない千鳥が鳴いている）

また後鳥羽上皇が遊覧にお越しになった際、雪が降ってきたので和歌をお詠みになりました。

「阿へ島や　鵜のいる岩に　ふる雪の
波にいくたひ　きえ津もるらむ」

(阿倍島で鵜が休んでいる岩に降る雪は、寄せる波に幾たびも消え、また積もるのだろう)

天文博士の安倍晴明公は阿倍野のご出身で朝廷に出仕しました。火伏せのお祭りを行ない、神符を家々にお配りになりました。今に至るまで火災諸難を防いでいます。