"Deu branco" é uma expressão racista?

Como denegrir e algumas outras?
"Deu branco", perdeu a memória.