Na maioria das vezes é inveja mesmo, ainda mais se tiver o agravante de que a pessoa é inteligente, comunicativa, se destaca entre os demais no dia a dia, etc.
Talvez sintam medo de serem rejeitadas por quem gostam e culpam os bonitos por isso, como se essas pessoas só fossem rejeitadas por causa da existência de pessoas bonitas, também pode ser inveja.