Acredito que o nome seja mais tolerante e não menos visuais, visto que mulher é

tão visual quanto homem, porém é inegável que é mais fácil uma mulher aguentar um homem feio em nome do relacionamento do que um homem aguentar uma mulher que ficou feia ou que engordou, inclusive a justificativa mais comum de traição masculina é a aparência da esposa/mulher que muda durante os anos, então nesse sentido, os próprios homens sujam a imagem dos outros.