Pode ser só porque ele respeita o contexto e as pessoas em certas situações. Mas

geralmente homens percebem quando aparece uma mulher bonita, podem não encarar, mas observam, mesmo que seja só uma olhada de esguelha. Ou pode ser que o tipo de mulher que "tudo quanto é homem vira a cabeça pra olhar pra ela" não seja tão atraente pra esse cara. Ou talvez, como você supôs, ele seja yag.