Depende de vários fatores, principalmente da idade.
Tem fatores emocionais e físicos.
Simplificando, imagine um circuito

assim:
1- Cérebro identifica conteúdo sexual - Pode ser um estímulo visual vendo o corpo, pode ser auditivo escutando gemidos ou uma voz no ouvido, pode ser tato com uma massagem ou toque no corpo, etc.
2- Impulsos nervosos - Cérebro manda impulsos pros genitais que vão liberar substâncias que vão permitir bombeamento de sangue. Quando encher os corpos cavernosos de sangue eles se "fecham" e mantém a ereção.
3- Orgasmo - depois do orgasmo é liberado endorfinas e oxitocinas e componetntes que relaxam essa valvula pro sangue sair e desinchar.

Muita coisa pode acontecer nesse meio do caminho. A testosterona aumenta a libido (desejo sexual) e a dopamina relaxa e causa sensação de felicidade.
Se o cara estiver nervoso, tenso, ansioso, pensando no trabalho, preocupações, brigas, etc., vai liberar cortisol que é um hormônio que corta o efeito da testosterona e prejudica esse processo de impulsos nervosos.
Se tiver problema circulatório, alimentação, diabetes, fumo e outros fatores, pode ter problema no bombeamento do sangue e em manter a ereção.

Depois dos 40 começa a ter a andropausa que é a diminuição de testosterona e aumenta as chances de ter problemas de ereção com mais frequência.
Outro causador é a rotina. Muitos anos com a mesma pessoa que não inova faz o homem perder aquele fator "novidade". Nesse caso o visual passa a ser menos eficiente e um esforço mais tátil passa a ter mais resultado.