島津氏討伐のため豊臣秀吉から命を受け
京から豊後（大分）へ送られたきり
消息がわからない軍師（夫）を心配した夫人が京の老僧に相談すると
一緒に豊後まで行こうということになり婦人は幼児と乳飲み子を抱え旅に出ることになりました。
しかし、豊後へ行ってみると
軍師は日向（宮崎）へ発ってしまったあとでした。
老僧とともにはるばるこの西別府地区までやってきて
軍師を探し回りましたが見つからず
幼児と乳飲み子を抱えての長旅に夫人はとうとうお乳が出なくなり、
一緒に旅をしてくれた老僧も病に倒れてしまいました。
「自分のことを葬ればお乳がでるようになる」
と言って亡くなった老僧を、土地の人たちとともに葬ると
夫人はお乳がでるようになったそうですが軍師も見つからず老僧も亡くなってしまい
心細くなった夫人は子供を道連れに亡くなってしまいます。
かわいそうに思った地元の人たちがこの夫人たちを供養しようとしましたが
名前もわからなかったため「東から来た人」ということで「東来の仏」として
供養することにしたそうです。
その後ここをお参りすると不思議とお乳が出るということで
「乳神さま」とも呼ばれるようになりました。