Só sente desejo se der abertura pra isso. Logo é errado.

E se ocorrer, o certo

é terminar a relação. Traição não precisa ter contato. E o sujeito que não sente que está traindo o parceiro por sentir desejo por outras pessoas, está bem errado.