Se for exclusivamente por causa da cor, considero um racismo velado sim.

Mas dai entra

outras questões né, tipo se não aceitar namorar com gordo é gordofóbico e etc....

Eu penso assim, se a pessoa não se atrai por pessoas de determinada cor, ela tem que guardar isso somente para ela, mas ficar induzindo os outros a também não sentir interesse por causa da cor, dai acho bem errado.

Tipo, "a não namoro ela porque é preta, branca, gorda e cia." Pô, guarda para você isso, simples assim.