Se você não se identifica com o gênero masculino ou feminino pode ser não-binário, você

pode não se identificar com nenhum ou se identificar com os dois
Eles devem falar isso por você se vestir com roupas femininas, o pessoal confunde muito estilo com gênero