Depende do tipo de pensamento. Podemos pensar em uma mulher de várias formas.
Mas se tratando

do pensamento indevido, no que tange o campo de desejar, acho que isso varia muito de homem para homem.
Por natureza imperfeita, o amor e o desejo humanos estão dissociados, independentes. Portanto é possível um homem amar sua mulher e, eventualmente, desejar outra que viu na rua.
O que realmente faz diferença na questão do amor em conjunto com o caráter de um homem é que postura ele assume diante de um eventual desejo ou qualquer outro sentimento incoerente que possa surgir no meio do caminho. O ser humano não é um animal. Ele pode sentir coisas e tomar decisões coerentes frente a elas, como por exemplo, dirigir-se para fora daquele sentimento ou reorientá-lo para o lugar certo. Basta se posicionar.