Acredito que possa ter mais a ver com sua expressão, se você é muito fechada

ou séria, pode causar "medo" nos homens. Não é só bonita que chama atenção, gente feia também, se o caso não for seriedade, deve ser de beleza comum, aí nesse caso, não chamaria atenção.