妻とそのママ友(×2実家住まい)についてですが意見をお願いします。

うちの下の子(男)が保育園ですが、妻が最近親しくなったママ友と子供(男)を家に入れることがある。
時間にして30分ぐらいの茶飲み程度だったのが、いつの間にか晩ご飯も食べていくようになりました。
週に4日ぐらい居る日があり、先日は残業から帰った21時半頃までいました。
流石に晩酌して録り貯めた海外ドラマを見たかったので帰ってもらいました。

先日、近くのスーパーでママ友親子と会ったら、今度一緒に晩酌したいと言われましたが、はっきりと断りました。
その日のうちに妻へメールしたようで、旦那さんを怒らせたみたいだから、しばらく行かないとのことでした。
そうしたら、妻から「貴重なママ友なんだから邪魔しないで!」と、今度は自分が怒られる羽目になりました。
正直言って、自分たち夫婦とママ友の学歴と生活水準が違うのが目に見えて関わりたくないです。
自分が我慢すれば良いだけですかね