É claro que mexe, e vou explicar o porquê. Isso do ponto de vista de

muitos caras, não necessariamente sendo verdade ou não.

Numa sociedade em que diz que "maior é melhor", obviamente a cabeça de muitos caras são cheias de minhoca quanto ao assunto. Especialmente porque é símbolo da masculinidade no mundo atual. E pornôs contribuem muito pra isso.

De mais a mais, muitos acham que é uma falsa simetria ao falar que tamanho de "peito e bunda" é comparável ao "tamanho do pênis". Primeiro porque tamanho do pênis é imutável, enquanto peitos e bundas não.
Segundo porque peito e bunda não estão diretamente ligados ao prazer masculino, enquanto o tamanho do pênis está ligado diretamente às diferentes (não necessariamente melhor ou pior) sensações que podem dar às mulheres.
Outro ponto importante a se lembrar é que quando o cara tem pênis pequeno, a palavra "compensar"" é utilizada. Ou seja, o que ele tem não é suficiente, é anormal, não é desejável. "Compensar com oral e dedos. Com brinquedos". Isso é capaz de deixar alguns homens com sensação de inadequação.

Ora, "pequeno" sempre conota negatividade quando o assunto é pênis. Sem falar que piadas são sempre com pênis pequeno, certo?
Observe as seguintes frases:
"Ele tem o pinto pequeno, mas me dá prazer" - Pequeno remete a algo ruim, mas ele consegue superar isso.
"Do que adianta ter barriga de tanquinho se a torneira é pequena" - Não preciso nem explicar.
"Deve ter o pinto pequeno pra ser tão revoltado assim com as mulheres" - Assume que ter o pênis pequeno é uma característica negativa e que isso determina sua revolta.