辞めるメリットと続けるメリットとがそれぞれあるので最終的には何を優先したいかということだと思います

「現状は嫌だが辞めるリスクを背負うより続ける方がマシだ」
「ストレス解消・回避が出来れば辞めるほどではない」
などと思うのならば是非続けて下さい
辛いことに耐えた経験はあなたの糧になります
受験勉強も「あの部活より楽」などと考えれば頑張れるかもしれません（私はそうでした）

「推薦入試を蹴ってでも今すぐ辞めたいくらい嫌だ」
「無理に続けてストレスで身体を壊すのが一番嫌だ」
などと思うのならば辞めるのが最も簡単で最善の方法かもしれません
ストレスの元を遠ざけることは健康にとても大切な事です

それから顧問が話にならないのなら他の先生を頼るのも一つの方法としてあるので余裕があったら考えてみてください