Depende do cara ... a confiança de um homem está ligado a alguns pilares, e
não necessariamente ele precisa ser muito bom em todos pra ter confiança, mas se ele não for em nenhum, dificilmente terá autoestima. Eu diria que os principais pilares da confiança e autoestima masculina são nesta ordem: Poder Financeiro (no Brasil principalmente, pois é um país pobre), beleza física e performance sexual (Está ligado tbm ao segundo, mas me refiro mais a tamanho do pênis, tempo q consegue ficar no sexo, conseguir satisfazer facilmente uma mulher etc.).Sem pelo menos um desses fatores ou uma boa combinação deles, a maioria dos homens não tem confiança nem para chegar em uma mulher.
Sobre a pergunta: Se esse cara não tiver confiança advinda de outras áreas (pilares), provavelmente ele deixará de se permitir, pois acreditará q não poderá oferecer muito a esta mulher, nem mesmo um bom sexo. (lembrando que isso é muito psicológico, pois se até uma mulher consegue satisfazer outra, esse cara poderia sim satisfazer uma boa quantidade de mulheres q não priorizam essa parte).