Sou machista por rejeitar uma garota pelo modo que ela se veste?

Eu nunca entendi o motivo de me chamarem de machista quando digo isso. Me expliquem, por favor. E como deixar de ser machista? Devo aceitar sair ao lado de uma mulher seminua?