Parceiro, pessoalmente não são tantas pessoas que me acham feio como eu me acho. Mas

tem sim uma boa fatia que me considera horrendo, e não tem inibição de me falar isso.
Primeiro tu tem que definir se o problema é da autoimagem que tu faz de si, ou se é sobre a opinião alheia. Se for de uma autoimagem frágil, que pode sim ter origem nas experiências com outras pessoas, você pode começar tratando do diálogo interno que tem consigo. É sempre bom ser complacente e diminuir a autocrítica sobre coisas pelas quais você NÃO tem controle, afinal reclamar não vai trazer mudança. Na verdade vai, mas traz pra pior. Se é sobre crítica alheia, desarme a ponta dessas críticas descortinando a intenção por trás delas. Achar alguém feio é natural, mas apontar isso pra pessoa mostra alguma ferida aberta. Talvez a pessoa que teceu a ofensa estima em si mesma tão somente a beleza, e precisa reforçar isso se comparando em superioridade em relação ao outro. Nesse caso, azar o dela, afinal as rugas batem na porta sem avisar, e o tempo é cruel com quem deposita muita confiança nisso. Pode ser também que a própria pessoa tem um histórico de ser humilhada dessa forma, então desconta em outros pra não se sentir tão desprezada. Pra ela, melhor dois na lama do que um.
O que tu tem que entender é que todas as possibilidades são derivativas desse fator: uma pessoa que não é verdadeiramente confiante. Faz o que quiser dessa informação