偏見抜きでまとめるとこんな感じか

【姦通説】
女好きの秀吉に子供が全然出来なかったので種無しの可能性が高い。
淀だけに子供が生まれるのは不自然。

【実子説】
実子かわいさじゃなければまがりなりにも血のつながった秀次への仕打ちが説明できない。
秀次を排除する理由があったとしても高野山に追いやれば十分。