Se você analisar historicamente, vai perceber que a beleza humana é majoritariamente a reprodução da

nobreza. Os reis e rainhas não eram desejados sexualmente porque eram bonitos, mas porque eram reis e rainhas. A plebe via a vida da nobreza como mais agradável, sonhava em casar-se com um nobre e isso acabava tornando a figura dos nobres mais atraente. Em culturas de povos brancos, os nobres eram sempre mais brancos que a plebe porque a plebe era tradicionalmente camponesa, logo, pegava mais sol e se bronzeava. Já os povos de pele mais escura só passaram a magnificar a beleza branca quando passaram a associar os brancos a povos mais prósperos e desenvolvidos, por serem povos mais ricos e fortes.
Na verdade é ainda bem mais complexo que isso, já que o mecanismo de atração é bem diferente entre homens e mulheres, entre diferentes idades, até em diferentes culturas, mas é mais ou menos isso, é um resumo bem simplificado.
Um pequeno exemplo é o Império Romano. Os bárbaros (nórdicos/germânicos) eram feios até o século II. Depois, quando se integraram à sociedade romana, passaram a ser desejados pelas mulheres porque eram mais fortes - enquanto os romanos eram camponeses e intelectuais, a maioria dos germânicos integrados na sociedade eram lutadores, mercenários ou soldados, ou seja, usavam a força, que é um fator de atração muito forte entre as mulheres. A associação dos loiros com a força fez com que deixassem de serem feios pra serem bonitos. Antes eram associados com povos burros e primitivos e eram feios.