Aff, odeio essa expressão, "passar pano".

E quanto à pergunta, não acho que isso seja

base para dizer que alguém é racista. Sei lá, eu acho que se pudesse fazer uma análise melhor do comportamento dele perante os caras negros que iriam entrar no grupo, seria melhor pra responder essa pergunta, mas ainda assim, sem poder fazer nenhuma afirmação.
No mínimo o que eu poderia fazer seria chegar no cara e perguntar qual era a dele, ou seja, pedir que me desse uma justificativa plausível para ter incluído dois caras no grupo e não querer colocar também os outros dois.