A resposta é simples: opções de escolha.
Uma mulher bonita, por exemplo, tem sempre dezenas de

caras interessados nela. Por que escolheriam um cara como você? Elas costumam sentir atração por características masculinas que demosntrem proteção como: liderança, força, auto estima, etc. O cara que parece uma fortaleza ou um porto seguro sempre mexe com o coração das mulheres.

Baixa autoestima passa a mensagem que o cara não vai oferecer proteção porque é um fraco. Claro que essas percepções são instintivas.

Agora que vc sabe disso vc tem duas opções: Vode ficar de mimimi ou pode fazer algo a respeito.
Ficar de mimimi é a mesma coisa que ficar reclamando com o juiz pra mudar as regras do jogo só porque vc não sabe jogar e isso não ta te favorecendo.