A questão não é em termos de brancos de hoje têm dívida com os negros.
É

muito mais complexo do que isso. Afinal os antepassados de boa parte da população brasileira atual nem estava aqui no Brasil nessa época.
O problema é de outra ordem. A sociedade brasileira tem uma dívida histórica com os descendentes dos escravos. A forma como foi feita a abolição, simplesmente relegados à própria sorte, sem qualquer apoio aos escravos libertos acabou por perpetuar uma situação desfavorável aos negros.
Basta ver as estatísticas de pobreza, nível de educação, população carcerária para verificar que a população de origem negra manteve uma situação pior, comparado às outras raças.
Por isso a importância de políticas afirmativas.