Estarei errada se decidir não ir mais lá e evitar contato com elas? Me ajudem!

As tias do meu namorado falam de mim para a ex-mulher dele.
Como se não bastasse, ela não pode sumir de vez porque é mãe da filha dele.
Tomei a decisão de não pisar mais os pés lá na casa dele caso elas estivessem presente. Estarei errada em fazer isso?
Como reagir diante disso?