"Seu negro" pode ter conotação racista, assim como "seu branco". A diferença é que a

primeira tem toda a história do racismo, estigmatização e preconceitos por trás, a segunda soa quase anedótica, é muito difícil realmente ofender ou humilhar uma pessoa branca recorrendo a alguma generalização racista sobre a "raça" branca.

Já se referir a etnia ao a um indivíduo como "fulano é negro" não é nem nunca foi racismo, é só uma forma consagrada na língua de se referir a tal grupo étnico.