Existe uma explicação sociológica para isso. Mas é chata demais. Mas em resumo: para alguns

negros, se relacionar com brancos é uma conquista social tal qual conseguir comprar um carrão, um diploma, uma casa em condomínio fechado... é a associação, equivocada e generalista, de que todo branco é necessariamente rico e vive num circulo social burguês, o qual é o ponto final do sucesso financeiro.

A própria premissa das cotas raciais partem desse entendimento. Ou seja, é um pensamento institucionalizado. Quando falam do racismo institucional, ei-lô. A instituição, i.e., o Estado, corrobora o discurso de que o branco é necessariamente rico e o preto é necessariamente pobre. Veja, esta não é uma opinião que nasce só na favela, é uma opinião alimentada em centros acadêmicos.

Aquele fenômeno que o steve citou aí, do jogador assinar com um clube grande e começar a namorar uma branquinha, é o exemplo empírico. "Quero o carro que o branco dirige, o condomínio fechado que o branco mora, e as mulheres que o branco transa, pois agora eu 'invadi' a casa-grande".

Convenhamos, é um pensamento deprimente.