Já vi ambos. Mas a gente tem que pensar que esse "aparência mediana ou feia"

depende do observador, não é? Pra você, homem, o cara pode ser horrível, mas pras mulheres ou para aquela mulher em especial, ele pode ser muito bonito. A percepção da beleza varia muito de acordo com o gênero, preferências pessoais e etc. Já vi homens lindos que outros homens consideravam feios rs. Homem pensa que outro homem só é bonito se estiver 100% dentro dos padrões de beleza, e as mulheres na maioria das vezes não gostam de homens 100% padronizados.
Não sei se o contrário se aplica, até porque não sou homem né, mas acredito que os homens tendem a buscar mais mulheres dentro dos padrões de beleza.