Eu te entendo porque também não iria gostar.
Mas por outro lado temos que entender que

criamos uma amizade com a família daquela pessoa e que não é porque terminamos o relacionamento que devemos desfazer a amizade com todos.
Mas claro, tudo com bom senso. Frequentar a casa enquanto a ex estiver lá por exemplo, não rola.
E temos que perceber também se isso é realmente um carinho pela família, ou se não é uma forma de se manter por perto, porque ainda existe algum sentimento pela ex.