Acredito que dois fatores:
1) Condicionamento
Homens são condicionados a maliciar, a achar que a mulher está

a fim deles a qualquer sinal de sorriso ou sei la
2) Hormônio
Um dos hormônios responsáveis pelo desejo sexual é bem maior no homem do que na mulher, e muitos caras não controlam.

Isso eu generalizei mas normalmente é assim