Se afastar silenciosamente de uma mulher, sem dizer o motivo, é errado?

É errado se afastar de qualquer pessoa realmente próxima de forma abrupta sem dizer o motivo, não só paquera, mas também amizades e familiares.
No teu caso, se não é recíproco da parte dela e nunca houve amizade verdadeira, só flerte mesmo, acho que não tem problema.