夫が「行きたい」って言ってるならともかく
気を遣っていこうか？というくらいなら「いいよ行かなくて」が正解と思う

うちの夫は親戚付き合いを重視する人で
私がコミケ行くからうちの方のお盆の集まり行かないって言った時
「じゃあオレが子供連れていく！」と言って幼児二人連れてってくれた