É preferência, porém pode estar associado, mesmo que no âmago da pessoa, ao racismo. Mesma

coisa homens negros que só gostam de brancas, que inclusive é ainda mais comum do que mulheres negras que só gostam de brancos. Essa preferência/racismo pode estar ligada não somente à cor, mas também costumes e comportamentos de cada etinia.
Enfim, acho que cada um tem sua preferência, mas acho que às vezes temos que parar pra pensar se essa atitude não está associada a um pré-conceito ou comportamento estrutural. Não que estar ciente disso vá mudar a preferência da pessoa, mas é sempre importante refletir sobre isso.