1599年（慶長4年）豊臣秀吉の死後、森忠政が信濃国松代に移封となると、田丸直昌が入城した。
1600年（慶長5年） 関ヶ原の戦いで大阪城番であった田丸直昌は西軍となり、城は本領復帰を狙う遠山利景に再度攻められる。戦後、田丸氏が改易されると、松平家乗が入城した。
1601年（慶長6年） 家乗は山上にあった城主居館を城の北西山麓に移し城下町を整備した。