教育方針やお金の件で夫婦喧嘩が増え妻の実家で同居はという話になったが浮足立っていたので心の余裕からの浮気は勘弁ねと言ったら激怒された

当方結婚4年目。
昨年子供も生まれて順風満帆の筈が、 教育方針だとかお金の件で喧嘩が増えてしまった。
こちらは口ベタな上手いこと言えないのがまた妻をイライラさせてしまっている。

妻のストレスを解消するためと、お金の面を考え、妻実家で暮らすのはどうかという話になった。
妻実家のご両親のことは俺自体とても尊敬してるし大好き。
妻も戻ったら何でもできる気がするや、浮き足立った話をチラホラするようになった。

たったこれだけのことで気持ちが大らかになるのが何故か釈然とせず、行くこと自体は大賛成なんだけど、変なプライドと悪戯心から、あっちにいってもあまり解放的にはならないで欲しいと伝えた。

それでも話半分な感じの受け答えに若干ｶﾁﾝと来てしまい、やんわりとまぁあっち行ったら楽になるしいいこと尽くめだね。俺はちょっとご両親に申し訳ないしきまづいけど、なんとかできそうだ。
ただ心に余裕ができると浮気ってことも考えられるからそこだけは本当に勘弁してね。と伝えた途端劣化の如く怒りだし、実家帰省計画は破談となってしまいました。

確かに信じれないの？と捉えられても仕方ないと思ってはいますが、自分自身も同じように言われたときに笑ってスルーできる内容と自信があるため気にしてなかったのですが、人によっては話題に出すだけで大変傷つき、怒る内容と捉えていいのでしょうか？

無神経かもしれませんが妻はこの話題だけ確実に穏やかではなくなります。
逆ギレは黒の可能性が高いとどこかで見た覚えがあり不安になってますが、皆さんの家庭でも白であっても当然の如く怒るようなことなのでしょうか？