Isso é consequência natural do envelhecimento.
Com o passar dos anos, o corpo passa a

produzir menos testosterona, hormônio fundamental para o homem ter uma ereção satisfatória.
A queda da produção de testosterona, acontece mais depois dos 40, e aos 50 anos, a maioria dos homens acusa baixa testosterona.
Sem ela, o homem perde a libido, e o interesse em fazer sexo diminui drasticamente.
Some-se a isso, diversos outros fatores de saúde que acometem homens nessa faixa etária. Obesidade, diabetes, problemas vasculares, depressão, etc. Se for fumante, o risco aumenta.
Então, não é nada fácil a vida sexual de um homem de 50 anos.
Claro que existem as exceções, se o cara sempre levou uma vida saudável, ele tem boas chances de chegar aos 50 em forma, e com vigor sexual.
Mas, a maioria, vai chegar nessa idade com saudades dos seus 20 ou 30 anos...