O termo "retardado" é psicofóbico?

Enfim, o termo é problemático? Uso pra descrever gente escrota. Mas tenho certo receio. Talvez devesse ter cuidado com as palavras.