Quando o assunto é cor, só o tom da pele importa?

Por exemplo, eu vejo muita gente se declarar branca, quando na vdd a pessoa é amarela ou até branca mesmo, mas com muitos traços negroides.
E o inverso acontece, uma pessoa parda escura com uma cara de europeu.
Pq as pessoas só se atentam pra cor da pele e não notam os outros traços faciais?
Pra mim, a pessoa da primeira descrição é muito mais negra que a segunda.