Acho que ser direta não é ser grosseira.
Você pode ter uma conversa rápida com

a pessoa e dizer que é melhor pra você não ter mais contato, é melhor que simplesmente bloquear ou deixar no vácuo