Namorar homem que tem filho... O que fariam em meu lugar?

Há 2 anos iniciei namoro com meu melhor amigo, ele é uma pessoa maravilhosa. O problema é que ele já teve um namoro anterior de 8 anos, se separaram e numa ‘recaída’, a ex ficou grávida. A família dela o ameaçou de diversas formas para que se casassem, e ela o culpava por ter perdido um longo tempo da vida dela com ele e não aceitava a separação. Enfim, cedeu à pressão, se casaram e permaneceram juntos por mais um ano e meio e se separaram.
Nunca quis me envolver com homem que tivesse filho, e ele sempre soube disso. Acontece que logo após a separação dele, descobri que ele sempre me amou mas não tinha coragem de se declarar por medo de perder minha amizade. Então, resolvi tentarmos um namoro...Porém, não consigo aceitar o fato de ele ter um filho e sou sincera com ele quanto a isso. Tentei por diversas vezes terminar, mas ele chora, diz que a vida dele não terá mais sentido sem mim, já falou em tirar a própria vida e no final não consigo pôr um fim pois não quero faze-lo sofrer e também tenho medo do que ele possa fazer.
Ele diz que me ama muito, que o fiz renascer do inferno que viveu com a ex, que abre mão do filho para ficar comigo, pois a criança, que hoje tem 3 anos, tem a mãe e não precisa dele pra nada; diz que faz de tudo para não me perder, que sou a pessoa mais importante da vida dele, que quer se casar e ter um filho comigo.
Desde que ele se separou, viu o filho raras vezes, chegou a dizer que não tem interesse em vê-lo, e eu sei que apesar de ele dizer que não é influência minha, que mesmo que se não estiver comigo não irá ter uma convivência com o filho; sinto que tudo isso é por minha culpa, pois ele tem medo de me perder então prefere se afastar do menino.
Não sei o que fazer pois por mais que ele faça de tudo para ficar comigo, não consigo aceitar essa criança; não consigo terminar com ele e me sinto culpada pelo afastamento dele com o filho.
Apesar desse comportamento com relação ao filho, sei que ele não é uma má pessoa, pois o conheço há 7 anos