Já sugeririam o block que pelo jeito não é o caminho que vc quer seguir.
Ser gentil não vai adiantar nesse momento, mas se não quer ser rude, diga coisas como:
Você é muito invasivo.
Esses assuntos são inconvenientes.
Eu não estou tirando proveito das nossas conversas, melhor pararmos por aqui.
Mas o melhor seria dar a e real pra ele e dizer que ele é insuportável e você não quer mais falar com ele.