Não é o normal... Vem com a genética de ambos os lados.
Por exemplo, o lado

da minha mãe tem muita gente alta, tanto que uma das minhas primas tem 1,80 e qualquer coisa... E aí o meu irmão tem bem mais de 10 cm que o meu pai...

Mas tudo depende, conheço muita gente que é até mais baixo que o pai, sendo o pai já baixo em comparação.
É a vida, é lidar irmão e aceitar.