A diferença é simples. Existe Flerte e existe Admiração.
Se passa uma mulher bonita e o

cara olha a mulher passando ele pode admirar a beleza como faria com um carro, um quadro, uma obra de arte. A mulher tb olha, mas vcs sabem ser discretas, o homem não.

Se passa a mesma mulher bonita e ele fica olhando nos OLHOS dela mais de uma vez, então isso passa o limite da admiração e entra no Flerte. Ele está mandando uma mensagem implícita de "Desejo vc".

Se a mulher passou na frente do cara e ele deu aquela olhadinha normal, não há motivo pra stress. Se vc viu, ele não é cego e viu tb. Se vc achou ela linda, ele tb pode ter achado. Se ele não ficou encarando os olhos dela, ta tudo tranquilo. A vida segue e ele nem vai lembrar dela alguns minutos depois.

Não sei se é teu caso, mas se vc fizer barraco como a maioria, o problema estará com sua autoconfiança. Vc estará implicitamente dizendo que achou a outra melhor do que vc e se sentiu ameaçada. Na próxima vez que uma cruzar na frente dele, vai mentir dizendo que não viu nada e vcs passarão a ter uma relação hipócrita somente pra satisfazer uma insegurança.
Além disso, toda a vez que vc fizer barraco por causa de alguma mulher, é bem provável que ele vai gravar a imagem dela na mente. O cérebro costuma guardar situações de stress. Se vc não falar nada ele apaga da memória.