Talvez pelos traços mais rústicos.

Geralmente mulheres e homens, ainda que sejam muito diversificados, seguem um

certo padrão: mulher é baixinha e homem é grandão; mulher têm cabelos compridos e homens têm cabelos curtos; mulheres tem rostos pequenos e redondos/ovais, enquanto homens têm rostos grandes e quadrados...

Aí quando tu é um homem ou uma mulher que foge muito desse padrão tende a ser visto(a) como mais afeminado ou mais masculinazada(talvez por isso uma mulher seja chamada de travecão).