Não posso falar que todo mundo que pensa assim é racista, eu não conheço todos,

não sei das atitudes e nem o que está dentro de cada um, agora, na minha opinião isso não é tão simples como algumas opiniões que eu já vi aqui, no caso, pessoas colando como não tem nada a mais por trás disso, a pessoa simplesmente não gosta.
Vamos pensar agora, há pessoas negras com características considerandas atraentes em pessoas brancas, características que também tornam atraentes, que fazem serem considerados bonitos, mas as mesmas características não são atraentes por que estão em uma pessoa de pele negra? Há negros altos, corpo em forma, que se vestem de forma elegante, que conversam bem, tem uma boa postura corporal, características dos cabelos e continua...
Quando alguém diz, "eu não sinto atração por negros" não se refere a uma pessoa específica, há muitas características físicas considerando a população, então inclui todas as características, mesmo as consideradas bonitas em pessoas brancas, isso da a entender que o motivo é unicamente a cor da pele, o que é justamente o motivo de pessoas negras sofrem racismo, desigualdade, exclusão etc.
Outra ponto, não é comum pessoas dizendo, "eu não sinto atração por pessoas brancas".