Eu acho que o olhar é uma questão instintiva e biológica que pode ser controlada.
E

o homem manifesta o seu olhar de um jeito bem diferente da mulher.
A mulher é menos visual que o homem e o homem, como o visual chama muito a atenção, para ele é uma coisa muito natural que ele faz sem se preocupar com a reação dos outros ao redor, a ponto de encarar e tudo mais. É aí que deveria exercer o controle, de se conter e manter uma postura mais educada, porque como o visual acaba chamando mais a atenção do homem ele olha com intensidade.
A mulher, como chama menos a atenção, o olhar acaba sendo menos intenso e para elas é mais fácil olhar com discrição.