Por que ele fica me observando quando não estou olhando?

O que faz um homem parar de fazer contato visual com uma mulher e passar a apenas a observa - la quando ela não está olhando para ele?