Acho que é mais pela questão de conflito (do cara, mesmo) com a ex..
Deve ser

difícil ficar em um relacionamento quando tem briga direto entre ele e a ex, não digo de ciúmes, mas pela perturbação em si
Mas não acho que precise desistir.