Olha, acho que você tá colocando coisa na cabeça, tente relaxar. Já aconteceu comigo, moramos
em estados diferentes, acabamos morando na mesma cidade por motivo de estudo e ele já foi visitar a família sem mim, e falou a mesma coisa que o seu disse. Confesso que fiquei sem jeito e até triste, por sentir que ele não me queria por perto. Mas depois entendi, quando já quis visitar minha família sozinha. Ele quer um momento só com eles, para matar a saudade, brincar, ser ele mesmo, muitas vezes a gente evita alguns comportamentos pelo fato do namorado estar junto, e também que a atenção dele tem que ser dividida entre você e a família. Não foi nada demais, tá? Eu entendo o que você sentiu, porque já passei por isso, mas garanto que não tem a ver com você, ou com ele não querer sua presença, ele só quer um momento íntimo com os parentes