それは以心伝心ってことかもね。
あなたが不快に思っていることが相手にもマイナスの感情として伝わっていたのかも。
自分から嫌なことをしなくて済んでよかったじゃないか。