É científico..
Não lembro com exatidão mas acho que a primeira impressão é criada num intervalo

de algo tipo entre os primeiros 20 a 50 segundos que vc vê a pessoa pela primeira vez e nesse tempo ja é capaz de dizer que "não foi com a cara" mesmo que as vezes nem saiba o pq.....o que leva a tua pergunta que seria qual o motivo disso.
Creio eu que varia e muito, as vezes é bon senso e a gente nem sabe.