Isso decorre do próprio papel biológico de cada uma dos 2.
O homem é uma das poucas espécies do Reino Animal cujo macho participa da criação dos filhotes (normalmente o macho só acasala e deixa todo o trabalho com a fêmea). Como o homem trabalha pra sustentar os filhotes, desde os tempos pré-históricos ele morre de medo de se matar de trabalhar pra sustentar um filho que nao é dele (machos de outras espécies começam também a serem pais piores quando desconfiam que os filhos nao sao deles).
O homem das cavernas tinha a ideia de que a mulher que teve muitos parceiros anteriores representaria um risco maior de ter um filho que não fosse dele e por isso valorizava a virgindade (algumas pesquisas científicas já confirmaram que mulheres que tiveram muitos parceiros são mais propensas a trair, ou seja, o homem dos tempos primitivos não estava tão errado assim).
Some-se a isso o fato de alguns estudos (não concordo, mas alguns estudos cientificos já chegaram a essa conclusão) de que as mulheres são programadas biologicamente pra praticar a estratégia do duplo acasalamento, ou seja, de quererem se relacionar com os homens mais bonitos durante o período fértil pra ter os filhos de melhor genética possível e se sentirem atraidas por homens com mais recursos para alimentar os filhos quando estão fora do período fertil (fonte>
https://g1.globo.com/ciencia-e-saude/noticia/2011/12/capacidade-reprodutiva-e-o-que-nos-atrai-sexualmente.html)
De outro vértice, como a mulher tem a certeza da maternidade e como ela não pode gerar uma quantidade muito grande de filhos (com uma única ejaculação é possível engravidar todas as mulheres da Europa e nenhuma mulher pode ter mais de 40 filhos), a mulher acaba sendo programada biologicamente para tentar selecionar o melhor macho possível (a chamada hipergamia). Um homem que teve muitas parceiras é um homem que já foi validado por outras mulheres e, em tese, tem mais chances de gerar os melhores filhos.