Tem fundamento eu me sentir culpada se recusar sair com ele?

Um homem que conversei uns dias está na minha cidade para fazer a prova, perguntou se posso tomar sorvete com ele em qualquer lugar, perto de casa, no entanto,ele tem interesse em mim e eu não, sei que disse que é só conversa, mas atualmente só saio com homem se for um pretendente.
Recusei e ele insiste, me faz parecer que será sacanagem não ir já que ele nem é daqui e não conhece gente daqui. Praticamente me intimou a ir, chato isso.
O que faria?