Falar diretamente é sempre uma opção mais "simples", porém não é viável para todos. Creio

que a vida já se encarrega de nos afastar das pessoas, se você quer se afastar, é nítido que algo deve ter acontecido, mas não precisa sair brigado com a pessoa, a indiferença para com o outro já é algo que pesa muito, se a pessoa tiver um pingo de senso, ela já se afasta automaticamente. Caso continue a importuná-lo, ai não tem outra saída a não ser dizer a verdade.