Normalmente, para que uma pessoa chegue ao ponto de te chamar de feia é porque

há certo nível de intimidade. Logo, partindo dessa premissa é possível inferir que haja convívio entre você e o meliante xingador.
Bom, acho que quem te chama de feio não é seu amigo.
Simples, não fique conviva com pessoas que possam te chamar de feio.
O que responder: “o velho ditado diz que só um feio reconhece o outro”.