Se afastar silenciosamente de uma mulher, sem dizer o motivo, é errado?

Não é errado, mas também não é o que se espera de um homem maduro. O mais correto, na minha visão, seria ser sincero e direto:
“[Nome da pessoa], pelas nossas conversas percebi que há um desencontro entre o que queremos e o que gostamos. Para que não percamos mais tempo, acho melhor encerrarmos contato. Fique bem e te desejo tudo de melhor.”