Direcionamento sobre meu relacionamento com um homem casado

(Tenho 24 anos e ele 29) Conheci ele no trabalho mas não tínhamos intimidade, nos envolvemos na confraternização, onde passamos a noite conversando como se nos conhecêssemos a anos, ele me ofereceu carona e acabamos ficando no carro. Durante a conversa ele havia me contado que era casado, mas na hora não me importei porque havia bebido e estava a meses sem ninguém. O tempo passou e nós continuamos saindo, nos vendo todos os dias na calçada de casa, indo lanchar, passear nos pontos turísticos da cidade e enfim, nos tratávamos como namorados. Era muito amor e muita paixão até a mulher pegar algumas conversas. Nos deixamos porém não durou 1 semana, voltamos novamente. Tentei por diversas vezes deixar porque ele tem um filho de 4 anos, e são 11 anos de casamento. Porém é muito difícil, porque quando deixo, acabo voltando atrás porque o que temos parece ser muito forte, um tipo de conexão (temos muito carinho e cuidado um pelo outro). Atualmente não estamos mais nos vendo, dei um tempo e estamos conversando sobre o futuro. Ele alega que não quer ser egoista, pensar só nele porque tem o filho, e quer ser pai presente e acompanhar o desenvolvimento dele, e que por isso não pode deixar a esposa. Não quero convencê-lo de nada, pois acredito que esse tipo de decisão tem que vim dele. Ele quer que continuemos assim, por sofrer longe de mim e porque quando não estou perto, tudo na vida dele desanda.
Ele diz ser inseguro comigo e tem medo de se separar e eu futuramente acabar deixando ele, por eu ser nova e ter uma vida pela frente. Mas já deixei claro o que eu quero: futuro e um relacionamento normal. Porém ele tem o histórico de nunca tomar decisões, as pessoas ou a vida que toma por ele. Não sei o que fazer.