Porque é mais fácil para o desprovido de beleza estigmatiza-los.
Culturalmente o belo já é

carregado de estereótipos: por exemplo: não são confiáveis, não são inteligentes, são interesseiras etc.
E há os que juram que beleza é sempre sinônimo de 'veneração'.