Término do relacionamento por problemas sexuais

Comecei um relacionamento recentemente com um moço dois anos mais novo que eu, depois de muitos traumas, rejeições, terapia, Deus me abençoou com ele.. um sonho realizado pra mim. Nunca me tratou mal, sempre muito atencioso, carinhoso..
No começo relutei em começar o relacionamento por medo do passado se repetir, mas tratando na terapia, reconheci que estava com muito medo de ser feliz, mas que isso acabasse do nada. Tivemos uma conversa muito clara, onde eu perguntei se era REALMENTE o que ele queria, e ele disse que sim, que estaria comigo.
Tentamos ter uma relação sexual a primeira vez, mas ele não conseguiu. Vi que ele ficou frustrado mas sempre lidei muito bem com isso.. o resto do final de semana foi tranquilo, jogamos videogame, conversamos muito, aproveitamos o fim de semana.
Fim de semana passado ele veio pra minha casa, conheceu minha mãe, tudo ótimo, jantar em família, mas depois novamente não conseguimos transar. Ele ficou super travado, calado, no domingo a tarde foi embora e só falou comigo na segunda a tarde.
Disse que precipitou e que tava muito constrangido com o que aconteceu. Desde ontem tento conversar sobre isso, que ele não precisa carregar o fardo de ser o macho transante e que disfunção erétil pode acontecer com qualquer um, e que não estou com ele apenas por sexo. Se iniciamos um relacionamento, é pra passarmos por qualquer coisa juntos, procurarmos uma solução juntos, mas agora tudo o que ele fala é em terminar e que não quer que eu passe por isso.
Help! Não sei nem mais o que dizer, não quero desistir mas não quero insistir se ele não está confortável comigo :(