Se for exclusivamente por causa da cor, considero um racismo velado sim.
Mas dai entra outras questões né, tipo se não aceitar namorar com gordo é gordofóbico e etc....
Eu penso assim, se a pessoa não se atrai por pessoas de determinada cor, ela tem que guardar isso somente para ela, mas ficar induzindo os outros a também não sentir interesse por causa da cor, dai acho bem errado.
Tipo, "a não namoro ela porque é preta, branca, gorda e cia." Pô, guarda para você isso, simples assim.