何となく気を使うからイヤレベルなら避けて通れないかもしれないけど
イジメられたとか、異常に家が汚いとか、はっきりとした原因がある場合は行かなくていいと思うよ
無条件に我慢しなければいけない人生などないからねぇ