Acho que porque negros já foram mais vistos como sujos, fonte de doenças, preguiçosos, imorais,

enfim coisas ruins. Claro, todo o ideal de beleza (formato de rosto, formato de nariz, cor da pele, etc) não os incluía. Assim, construiu-se uma imagem negativa em torno deles que até hj há resquícios.