相手がどう思ってるかわからないし(旦那さんと同じような感覚の人も中にはいるし)
旦那だけで行って非常識なら家族で行った方がよほど非常識なんだから
嫌なら先方が断れば良いだけの話だし
断られれば旦那さんも嫌でも気付くだろうし