Por que é "problemático" alguém só ficar com pessoas negras?

Pessoas terem preferência em loiras, ruivas, morenas, baixas, altas é ok.. Mas pq quando alguém diz que só fica com pessoas negras é visto como fetichista?