本当に辞めたいなら周りがなんといおうが辞めればいいのよ。

ただ、高校の吹奏楽部に出向いたとき、
中学の吹奏楽部でいっしょだった連中に、
かなりの嫌味を言われることは覚悟しないといけないけど。
それがめんどくさいなら、引退まで続けたほうが無難ではある。