Insegurança e machismo.
Homem que se importa demais com o passado sexual da mulher é porque é inseguro, e provavelmente machista. Eles não aceitam o fato de a mulher já ter tido vários parceiros sexuais antes de se envolver com eles, caso ela tenha tido, eles acham que correm mais riscos de serem traídos e que a mulher é "rodada" e não serve pra relacionamento.
Também não entendi até hoje e juro que já tentei entender com imparcialidade.
Edit. Eu sei que das mulheres é o seguinte: a gente já naturaliza o comportamento mais promíscuo dos homens, "ah, homem é assim mesmo, né", não tem uma expectativa de "pureza" igual vejo muitos homens tendo quando sabem que a mulher é virgem ou deu pouco, a gente já vê que homem seja ele virgem ou não tem malícia igual, só é um que não pegou uma mulher ainda e também a gente (no geral porque não é meu caso kkk) meio que espera que o homem conduza e proporcione um bom sexo então quanto mais experiente ele for melhor pra proporcionar isso.
Dos homens é muitas respostas diferentes e não peguei a "raiz" da questão toda.
De acordo com meus amigos homens, eles pensam mais sobre "o que será que ela deixou" o(s) outro(s) cara(s) fazer(em); "será que deixou na boca"; "será que fez isso com ele(s) e comigo não" ... Coisas assim. Geralmente mulher não pensa muito nisso, primeiro pois nem fazemos questão, e segundo pq homem é homem, provavelmente já fez de tudo mesmo.