藤原氏が物部の、それも本流筋の末裔だよ。
物部本流筋の末裔の藤原氏と、物部庶流筋の（しかも蘇我氏の血も濃く入った）石上氏との間で、物部の惣領の地位を巡るちょっとした権力闘争があったんだよ（でもそれは割と穏やかなもの）。
それに藤原氏が勝ったから、伊勢神宮以外で唯一「神宮号」を名乗ることを許されていたのは物部の斎場なんだけど、
それが石上神宮から鹿島、香取の両神宮に代わったんだよ（藤原は「東国物部」。弓削大連の失脚以来、物部本流は東国に移り、臥薪嘗胆の思いを秘め雌伏していた。
一方、畿内に残っていた物部は庶流でしかも蘇我の婿筋。またそれ故に畿内に残ることを許されたとも言える）。
石上は物部の代表ではなくなったことにより、石上社の神宮号は返還され、石上神社になった。