Família que tem contato com ex

Namoro já tem 3 anos e desde sempre a família tem ligação com a ex dele, ela fica lá dentro, a minha sogra olha do filho dela ( que não é do meu namorado). E excluem eu e meu namorado de eventos e chamam ela. Eu não ligo mais, porém esse assunto tem gerado brigas com meu namorado porque eu não gosto da família dele por isso. Eu tenho uma filha desse relacionamento e a família dele não liga só fica atrás da ex dele. Eu não sei se continuo isso ou não porque sempre tem brigas. O que vcs me aconselham ?