Devo chamar ele para subir em casa?

Estou ficando com um rapaz, saímos apenas uma vez até então. Nessa primeira vez que saímos, após ir na pizzaria, ele parou o carro aqui na minha rua e ficamos conversando por umas 2h e depois ele foi para a casa dele. E agora, ele disse que passará aqui mais tarde para me ver e eu moro em apartamento e minha rua é bem tranquila e fiquei na dúvida se devo chamar ele para subir em casa, mas acho muito cedo para convidar ele, mas não sei se também é chato não chamar, e têm a questão que moro com a minha mãe, né. . Vocês acham que é muito chato ele vir aqui e ficarmos dentro do carro dele conversando e não chamar para subir em casa?