Mandei uma indireta de interesse e ele se esquivou.

Entendi que foi um fora e está bem. Problema que ele fica me chamando pra conversar e eu não quero mas respondo por achar que ele vai pensar que é por aquele motivo (e é, não nego mas eu não quero amizade dele). Como fazer ele perceber que não quero falar sem mostrar que estou com dor de cotovelo ?