As pessoas te observam por dois motivos, e em todos eles existe um certo nível

curiosidade :

1 - Você é tão feio que elas estão te olhando por curiosidade e desprezo, pelo horror.

2 - Você é bonito, e elas estão te admirando.

Não da pra saber porque estão nos observando discretamente, sem que elas mesmas admitam.

Eu mesmo, olho muito pra alguém se eu o achar muito feio, é curioso para mim.