安徳天皇の頃だって、もし平家が力を付けて都入りしてたら、んで後白河法皇と後鳥羽天皇の身柄を押さえることができてたら、
後鳥羽天皇を廃してもういちど安徳天皇を返り咲かせることはできてたよ。

後醍醐天皇退位（遠流）のときは鎌倉幕府の要求と朝廷内の主流意見が一致して後醍醐退位に動いたんだから、
2回目の後醍醐退位の頃だって幕府（足利尊氏ら）と朝廷内の相当数の貴族らの意見での後醍醐廃位なんだし、
いちおう実効性の問題はないはずなんだよ。

ただ、後醍醐帝と利害が一致する貴族が意外と多かった（後醍醐廃立によって実家から逐われるような貴族がたくさん居て、
後醍醐復権に賭けて捲土重来を期する動きがあった）後醍醐の正統性の如何に関わらず吉野へ赴くものも多かった。

公家社会での実務、政務を実際に動かす官人たちの大多数は後醍醐帝に追従せず京都残留したことが、
公家社会全体での見解を反映してると考えていい。

家中で後継争いが起きてて、後醍醐派と幕府/光厳光明派とで争ってた貴族とかが、どうせ京都に残っても破滅だし捲土重来を期して吉野に行くかーって程度の貴族しか、
吉野に行ったのは居ない。といっていいほどに、吉野行きの公家たちの大半は京都に残るという選択肢を持たないヤツらだったんだ。

北畠みたいな、一家総出で吉野側についてた貴族は珍しい。
武士も同様で、楠みたいに南朝側で頑張ったヤツは少なくて、同じ領地を巡って争う武士の片方が北朝側についたらもう片方が南朝につく、
みたいな形で南朝についた武士が大半。

南朝こそ正統と信じて南朝についたのは貴族にも武士にも少数しか居ない。