Por que é taboo chamar uma mulher de vagabunda?

Tipo, se eu encontrar uma mulher conhecida/amiga não fazendo nada, deitada, vagabundeando e tal, e eu chamar ela de VAGABUNDA, é capaz dela fazer um auê e até me bater. Mas se fosse um conhecido/amigo e eu chamar ele de VAGABUNDO, nada acontece. Por que? Por que a palavra vadia e vagabunda tem tanta força com as mulheres?