Acho que já começa pela anatomia. O aparelho reprodutor feminino é quase todo para dentro,

logo passa uma impressão de ser algo mais escondido e, por isso, algo mais precioso.
Outro motivo é a questão cultural, a qual, infelizmente ainda faz uma distinção nessa parte, cobrando, em parte, que homens não só sejam provedores financeiramente, mas, teoricamente, ter tido outras parceiras (ou simplesmente não ser mais virgem) daria um "atestado" de que ele seria um "provedor sexual em potencial".
Mas, como já foi falado acima, dê a volta por cima, não ligue para essas cobranças, o descontentamento é universal e sempre vão achar algo em vc, em mim e nos outros que não agrade.