Depende a forma que fala.

Se for com tom jocoso, sim, pode ser racismo, principalmente

vindo de alguém de cor e sem intimidade com essa tal pessoa branca.