Se o cara se apaixona por outra mulher, com certeza não ama a esposa então

nem deviam estar juntos.

Respondendo a pergunta, não sou casado e isso nunca me ocorreu.