Primeiro por questões socioculturais culturais e históricas. Segundo, porque dentre todas as cores, os brancos tem o nível de desejabilidade maior entre as mulheres, basta ver as pesquisas:
https://theblog.okcupid.com/race-and-attraction-2009-2014-107dcbb4f060
Além disso, no Brasil específicamente, a maioria da população é parda, então como os brancos são mais escassos, são considerados mais belos.
Não basta dizer que é só racismo, ou x ou y fator, são um conjunto de fatores que confluêm entre si que faz com que isso aconteça.