Se ocorrese comigo, eu ficaria decepcionada e me sentiria desrespeitada o suficiente para ter zero

ânimo em realizar qualquer outra coisa com o cônjuge, sem pensar nessa situação. Ocorreria a famosa lacuna ou "broxamento" no relacionamento, levando a um futuro término – principalmente depois de ler sua explicação.
Entretanto, cada ser humano é individual e tem seus princípios. Por tanto, converse com ele, e se não resolver, tome uma decisão baseada em teus sentimentos e no que tu acredita ser o melhor.