Não é errado falar "negra", mas se levarmos em consideração que essa palavra é muito forte no sentido de definir como ruim, mal, é bem notável que gere esse receio em certas pessoas, por achar que irá ofender.
Exemplos simples são: viúva-negra, magia-negra, ovelha-negra, lista-negra, etc.
E também, existem negros que não aceitam a cor da pele que têm, preferem "morenos" (moreno claro, moreno escuro), pois não incomoda tanto quanto ser chamado/a de negro/a.