Nem sempre a preocupação quanto a isso é sem fundamento.
Há mulheres que dizem não gostar

se for pequeno, já vi vários comentários aqui, inclusive questões nas quais se mostraram descontentes porque o ficante/namorado tem pau pequeno e houve até questionamentos se deveriam continuar o relacionamento após descobrirem isso.
Se a maioria se importa eu não sei.