Como dizer pro cara que tô ficando que não quero ele vá na minha casa enquanto ele não for meu namorado?

Ficamos e conversamos todo dia, parece interessado e bem intencionado, mas não temos onde fica junto e não quero ficar chamando ele pra minha casa na casualidade, mas não quero por ele na parede, como dar esse toque?