É porque criou uma certa desculpa falar sobre isso. Quando uma pessoa de cor diz

que gosta de sua tonalidade, ela está se referindo ao preconceito e escravização que foram, em parte, vencidas.

Por não existir um motivo/ "desculpa" do lado oposto, você dizer que tem orgulho da sua tonalidade branca é como uma ofensa aos de cor.

Mas você pode dizer que tem orgulho de suas origens desde que não misture com a cor, a não ser que você diga que tem orgulho da sua origem. Se você for português, italiano, alemão, judeu, e etc.. Pode dizer que tem orgulho de ser descendente de uma dessas raças.

Por exemplo, eu tenho orgulho de minha ascendência italiana, judaica...

Só tome cuidado para não misturar a cor no meio, de fato, pega mal.