Depende.
Geralmente eu tento mostrar que não estou a fim. Começo a negar convites, tento ser

mais na minha para ele não confundir a minha simpatia.

Mas às vezes não tem jeito, você tem que ser direta e dizer que não está querendo envolvimento.
Não é nada legal chegar a esse ponto. Por mais que você fale com jeito, a pessoa fica magoada contigo.