O que faz um homem não querer nada com uma mulher, mas ficar com raiva por ela querer se afastar?

Isso me cheira a possessividade.
Afaste-se imediatamente.