Amizade de contato, realmente é errado e não tem sentido existir. Mas também não precisam ficar como inimigos.
Você não está sendo radical na sua reivindicação, talvez no jeito de expor seus pontos. Sua reclamação é totalmente plausível e procedente.
Converse com ele, sem brigar, tudo na calma e exponha friamente seu ponto. Ele vai ter que escolher; você ou eles. Você também tem o direito de fazer suas escolhas.
É bem chato você precisar brigar com ele por isso. Ele mesmo deveria ter bom senso e saber que não é algo que pega bem. Claro que ele não precisa ficar com raiva da família do ex, pode cumprimentá-los etc., mas ficar com amizade é algo que não faz sentido, ainda mais se eles não tem nenhum vínculo, como você citou.
Eu te entendo porque também não iria gostar.
Mas por outro lado temos que entender que criamos uma amizade com a família daquela pessoa e que não é porque terminamos o relacionamento que devemos desfazer a amizade com todos.
Mas claro, tudo com bom senso. Frequentar a casa enquanto a ex estiver lá por exemplo, não rola.
E temos que perceber também se isso é realmente um carinho pela família, ou se não é uma forma de se manter por perto, porque ainda existe algum sentimento pela ex.
Ele está errado, não tem cabimento, acabou tem que se afastar, só ser educado, cumprimentar quando ver, que porra é essa de ser amiguinho da família de ex?! Parece que ainda gosta e quer voltar.