Fiz errado por me afastar?

Fez errado? claro que nãooooooo.

Sim
Tem que se afastar de pessoas tóxicas

De forma alguma.
Se não te faz bem, está em suas mãos se manter ou não naquele ambiente.
Dói ? Claro. Sempre esperamos apoio na família, mas infelizmente essa atitude negativa é mais comum do que pensamos.
Dê um tempo, depois volte vê como está o clima. Largar totalmente ninguém consegue ( nem deve), mas aprenda a fazer falta.

Tá certíssimo

Fez certo