Depende muito de como eles chegaram nessa conclusão... se for apenas por aparência, não vale a pena refletir. Agora se for algo mais relacionado a desejos sexuais ou atrativos seus que você às vezes tenha revelado para eles mesmo que sem querer... mas que envolvam fetiches seus com mulheres, curiosidade, desejo de ser ativa/passiva só que de outra forma, ou uma simples atração por características femininas. Acho que vale à pena você refletir sobre sim...deixar o julgamento alheio de lado e se deixar levar pelos seus próprios desejos.
Como eles sentem atração por mulheres, dependendo do seu relato,eles podem ter identificado coisas parecidas com o que eles sentem por outras moças, e por isso te chamam de bi.