Se ele te deu motivos bons para xingá-lo assim, ele está sendo insistente e você

deveria ignorar.
Caso contrário então a pergunta deveria ser pra ele: por que voltar a falar com uma mulher que vive te xingando?