Não existe uma idade "oficial" para isso acontecer.
O que acontece, é que com o passar

dos anos, a produção do hormônio masculino testosterona vai diminuindo ano após ano.
Isso influencia diretamente na libido do homem, que também vai diminuindo ano após ano, com o declínio da testosterona. Esse é um processo irreversível, a diminuição da testosterona.
Some a isso: estresse, sedentarismo, consumo de drogas lícitas ou ilícitas (fumo, cocaína, crack, etc), alcoolismo, obesidade, problemas de coração, etc, então, é de se esperar que um homem de 45 anos para cima, já apresente vários episódios de impotência.
Alguns homens já com 40 anos, terão passado por algum episódio de impotência. Ao passo que aos 50 anos, a maioria já apresenta regularmente o problema.
Infelizmente, essa é a "sina" dos homens, quando se aproximam dos 50 anos.
Há exceções, claro, se o camarada cuida da saúde, faz exercícios, não fuma, tem boa alimentação e dorme bem, isso influencia diretamente no desempenho sexual dele, quando está perto dos 50 anos.