Se afastar da pessoa que te faz mal sem dar explicação alguma é errado?

Conversar com a pessoa e apontar o que está te fazendo mal é bem melhor do que sumir sem falar nada. Caso depois da conversa a pessoa não mude o que está te fazendo mal, aí você se afasta.

Errado é manter contato com quem faz mal pra gente...

Já fiz isso foi uma dor insuportável mas passou

Ninguém deve explicação a ninguém, não é errado. Geralmente damos quando nos importamos com a pessoa, mas se ela está fazendo mal, não tem sentido fazer isso.

A melhor opção é conversar com a pessoa e dá a ela o direito de saber o motivo da decisão, mas se não quiser, não acho errado.

é o melhor

É nada, melhor coisa que se pode fazer.

Acho que não, inclusive já fiz isso mais de uma vez