まぁ要は外戚と言う立場を利用した寄生だからな
朝廷の権威が低下すれば必然的に無意味な存在になる
藤原氏も外戚になれなくなった時期に衰退するし