Tem que entender o que é esse mal. Se for uma crítica com alguma razão

tem que entender esses motivos, talvez seja algo que eles não compreendam em você ou você não compreenda neles.
Agora se o mal for deliberadamente para ofender pelas costas, isso é muito grave. Se for possível conversar amigavelmente é melhor. Se não for possível amigavelmente, melhor o afastamento.