O que fazer quando parte da sua família fala mal de você pelas costas?

Estou afastado a uns 3 anos deles, ficam falando mal de mim por umas coisas que eles não sabem a história, devo continuar afastado pra sempre? Não tenho nenhum pouco de vontade de falar com eles ou ter qualquer vinculo.