É uma situação complicada. Tem muitos casais nessa situação. Olhando de fora, sem responsabilidade nenhuma,

podemos falar: Separa!
Queira ou não, a sexualidade é muito importante num relacionamento a dois, quando não bate os desejos e necessidades, a tendência é o conflito terminar em separação.
Se a questão não for só com ele, pode seguir o conselho da @morenamulher , ou com ele, ou arrumar um marido liberal.

Acho que no futuro, com essa galerinha acostumada a “ficar”, essa questão de infidelidade ficará menos complicada.