Se afastar silenciosamente de uma mulher, sem dizer o motivo, é errado?

Não é errado, mas também não é o que se espera de um homem maduro. O mais correto, na minha visão, seria ser sincero e direto:
“[Nome da pessoa], pelas nossas conversas percebi que há um desencontro entre o que queremos e o que gostamos. Para que não percamos mais tempo, acho melhor encerrarmos contato. Fique bem e te desejo tudo de melhor.”

Não é errado

É errado se afastar de qualquer pessoa realmente próxima de forma abrupta sem dizer o motivo, não só paquera, mas também amizades e familiares.
No teu caso, se não é recíproco da parte dela e nunca houve amizade verdadeira, só flerte mesmo, acho que não tem problema.

É melhor assim