O que define se o homem vai ter pau grande ou não é a genética ou outros fatores?

Eu pergunto porque no caso da mulher quando os seios começam a se desenvolver todos passam pelo mesmo processo, mas no tamanho final uns ficam grandes e outros não.