Não, pode acontecer de você chamar alguém de "feioso" na zoação ou na brincadeira, mas

sem achar a pessoa feia de verdade.
Mas é meio indelicado, é melhor não falar, a pessoa pode ficar brava.