Eu acho que a explicação é porque, em via de regra, numa relação de casal,

o homem é quem garante a segurança da família. Se ele é mais alto/maior, passa mais virilidade ou algo assim. Deve ser meio instintivo.
Assim como muito homem prefere mulher baixa, porque se sente capaz de proteger