Por que o fato de se defender dizendo que não é racista porque tem amigos negros é também considerado racismo?

Tenho uma colega na faculdade que eu não quis aceitar que participasse do meu grupo pra fazer um trabalho, não é surpresa pra ninguém que a gente não se dá bem desde o primeiro semestre e um dos colegas veio me dizer que eu estou sendo racista porq ela é negra . Então eu falei que tenho amigos negros, q ele sabe q meu namorado é negro. Daí esse colega disse que só o fato de eu dizer essas desculpas já mostra q eu sou racista mesmo.
Pergunto a vcs , se vc não é racista mas foi acusado de ser, o q vc diria em sua defesa? Ou ficaria quieto ouvindo acusações?