Problemas com a família do marido

Pessoal é o seguinte. Meu atual tem uma ex que é amiga da família. Até aí tudo bem, porém a família do meu atual viveeee para essa ex que não sai de lá por nada, participando de tudo quanto é evento de família. Até o filho dela que não é neto da minha sogra convive mais que o meu filho que é neto dela. Eles nem procuram saber, nem visitam, minha sogra só visitou meu filho quando nasceu, ela cuida do filho da ex e tudo ela que nem foi casada nem nada só namorada e nem tem filho em comum. Eu me sinto completamente desconfortável com a situação, pois eles a tratam como se ela que fosse a atual e não eu, eu nunca fiz nada pra eles, agora eu me afastei da família por esse motivo. Não é por eles terem amizade, mas por eles terem preferência a ela e ao filho que nem parente deles é. Fiz certo em me afastar dessa situação? O que vcs acham disso ? Essa ex fica cada vez mais querendo se aparecer em foto, eventos, fazendo visitas, puxando saco de todos os parentes