Não tem como. Se você ficar só conversando com ele, uma hora ou outra vai acabar se apegando.
Uma hipótese disso não acontecer seria conversando com outros caras. Agora se não é de fazer isso, aconselho a conhecer bem ele e cair fora antes que o sentimento evolua mais.
Difícil, mas se você que optou por isso tem que saber separar as coisas. Eu não consigo, por isso evito me envolver se não for pra ter uma relação duradoura.