Você consegue provar? Isso pode virar um problema complicado. Se não conseguir provar a questão

pode inverter e ele acusar você de calúnia e difamação.
Tenta conversar com ele e gravar a conversa. Vá até a polícia com a gravação.