Já sugeririam o block que pelo jeito não é o caminho que vc quer seguir.
Ser

gentil não vai adiantar nesse momento, mas se não quer ser rude, diga coisas como:

Você é muito invasivo.
Esses assuntos são inconvenientes.
Eu não estou tirando proveito das nossas conversas, melhor pararmos por aqui.

Mas o melhor seria dar a e real pra ele e dizer que ele é insuportável e você não quer mais falar com ele.