Não, primeiramente porque eram poucas as famílias no passado que tinham de fato um escravo,

era muito caro fazer isso e provavelmente não era algo relacionado à minha família do passado, mesmo na parte de origem europeia, pois a maioria da população, mesmo europeia, não tinha como adquirir.
Além disso, o ocidente foi o primeiro local a levar à frente a abolição da escravidão e os mouros não são culpados também pela escravização dos brancos, nem os próprios romanos; os descendentes de negros no passado que também escravizavam negros, seja nas tribos na África ou nos quilombos do Brasil também não.