Como dizer para um menino que eu não quero nada sem deixar ele chateado?

Então gente um amigo do meu irmão pediu meu número e eu dei, mais eu acho que ele esta confundindo um pouco as coisas, ele falou que queria me ver pra conversar pessoalmente cmg mais eu não quero vê-lo pois eu gosto de outro garoto, ontem ele venho na minha casa 3 vezes e eu não sair pra fora. E agora ele ta me mandando mensagem dizendo que esta la fora e ta pedindo pra mim sair pra conversar com ele. O que eu faço???