Acho que você deve inventar uma desculpa. Dizer que não poderá mais conversar com ele

porque tem que fazer alguma coisa e depois sumir. Não é legal mentir, mas ele não vai se sentir tão mal quanto sabendo a verdade.