Por que as pessoas acham que racismo é só contra negros?

E que apenas negros foram escravizados?
Sendo que a história mostra que muitos caucasianos viveram (e ainda vivem) sob regime de escravidão.
Um exemplo clássico são as vítimas de Hitler, 99,9% eram brancos e eram tratados a pão, água, serviço pesado e chicote nos campos de concentração. Isso na década de 40, bem recentemente.