Esse é um padrão estabelecido já entre as pessoas. No caso do homem é porque

isso é associado a masculinidade e acham que todo homem é assim para provar que são Homens de verdade. No caso das mulheres é que associam elas a posse, algo que só se tem quando tem condições pra isso.