03年から２年連続で５勝のみ。騎乗機会を求め、障害レースにも挑戦した。しかし、成果はすぐには表れなかった。05年は３勝。06年はついに未勝利に終わってしまった。
「栗田先生の馬も任せてもらえたのですが、全く結果を出せませんでした。この時期が１番苦しかったです」
06年の６月を最後に栗田からの騎乗依頼が再びなくなった。
07年は２年連続０勝。

柴田の目の前で、調教師と調教助手が週末の競馬について会話をしていた。
　「『乗れる騎手が皆、埋まっているんだよなぁ〜』『どうしましょう？』みたいな会話をしていたんです。『毎日手伝っている騎手が目の前にいるじゃないですか?!』って思ったけど、成績を考えると口に出せませんでした」
さすがに腐りそうになり、引退の２文字が頭を過ぎった。

この地獄に比べたらまだ全然恵まれてるんだよなあ...