Por que algumas pessoas (especialmente mulheres, no meu caso) tratam mal simplesmente por "não ir com a cara"?

Particulamente, já perdi a conta de vezes que, sibretudo em cursos, as mulheres são hostis comigo quando eu não faço absolutamente nada diretamente a elas. Sem saberem quase nada sobre mim, simplesmente veem uma apresentação ou outra ou fazem uma porcariazinha de dinamica ou trabalho juntos e já saem comentando ardilosamente (zoando nos cantos com as colegas, escuto-as).
Essa coisa de não ir com...