Tenho algumas considerações, Sam:
1) não são todos os homens, geralmente os mais novos e/ou inseguros

se incomodam mais;
2) muitas mulheres pensam o mesmo e não gostam de homens rodados, então essa história de ser "pegador" deixou de ser vantagem faz tempo, só é bom pra bicho besta que gosta de "contar vantagem" entre os amigos;
3) a maioria das mulheres enxerga o sexo como um presente, um benefício único que ela dá para o homem, vide respostas aqui sobre pq o homem tem que buscar, pagar a conta, seduzir e coisas do gênero. Algumas chegam a falar de forma engraçada, como se só fosse bom pro homem. Se muitas delas mesmo pensam assim, a resposta do @Karlos é perfeita;
4) tenho observado que "as pessoas do passado" incomodam menos do que "os homens do passado". Calma, eu explico: Observe que homens se incomodam mais com os homens anteriores da mulher que a mulher se incomoda menos com as mulheres anteriores do homem. Mas homens são muito mais tolerantes a experiências bissexuais da mulher do que o inverso. Ando chegando à conclusão que o grande problema está relacionado à passagem masculina pelo corpo que as pessoas desejam rs;
5) gostar ou não de gente "rodada", seja homem ou mulher, normalmente tem a ver com o quanto a própria pessoa também é assim. Quem é mais contido costuma esperar o mesmo da parceira(o);
6) associação ao risco. Sim, você pode transar com uma pessoa só e pegar IST, mas existe algo chamado exposição. Quando mais você se sujeita, maiores as chances;
7) sentimento de irrelevância: ninguém, homem ou mulher, gosta da ideia de ser só mais um. Todo mundo espera ser considerado especial pela outra parte.
Entre outros diversos fatores.