Você confia no mesmo? Ele lhe respeita e te passa confiança? Se sim, não vejo

motivos pra não ir. Apesar de ficarem querendo ou não são amigos e acredito que isso seja mais importante que ficar e se ele gosta da sua companhia não irá ligar para sexo e respeitará caso você diga que quer apenas curtir a sua companhia. Não acho que seja ilusão e se ele gosta de você, com certeza irá pensar o mesmo e caso não pense, já sabe que ele não vale a pena.
Não se esqueça de avisar alguma amiga ou parente sobre isso, sua segurança em primeiro lugar.