Como se afastar nesse tipo de situação?

Eu converso com um cara e ele já disse que quer vir ao meu estado me conhecer mas eu não quero vê-lo. O que fariam ou diriam pra vocês se afastarem? Quero me afastar dele aos poucos sem precisar dizer que não gosto dele. Não quero comentários do tipo "é melhor falar a real"
Eu simplesmente achei que ele estava brincando de mandar indiretas e acabei jogando algumas pra ele mas ele levou a sério. Já aconteceu com vocês? E como lidaram com isso? Como se afastar???