Temos o direito de castigar quem nos faz mal?

Não, não vale a pena. Pode trazer satisfação no início, mas logo isso passa. Melhor coisa a se fazer é ignorar e manter distância.