おじいさんやおばさん、若しくはそれ以前の代に何か縁の会った方ではないでしょうか。
私にも似たような経験がありました。
私と同じような事例ならご実家や本家の位牌を確認したら何か分かるかもしれませんね。

何があったかは長くなるので割愛させて頂きます。
興味があればお話ししますが…。