Relação sem futuro? O que hei de fazer?

Olá
Meu nome é Sofia e tenho 25 anos. Daqui a uns dias faço 1 ano de relacionamento com um rapaz de 34 anos que tem um filho de 6 anos. Eu precisava de ajuda...
Bem é assim ... A Mãe do miúdo basicamente abandonou-os tinha ele cerca de 2 anos ou nem isso, vê o filho 3 vezes por ano e se for.. e mora cerca 18km , nem o vê, nem ajuda com dinheiro, nem da brinquedos,nem roupa, nem vai a escola, nem médico.. nada,zero! E para além disso o menino tem problemas desenvolvimento psicológico e algum motor e tem também epilepsia e tem terapia ocupacional e terapia da fala.
E neste tempo o menino afeiçoou-se a mim e tratar-me como mãe, eu não me importo com isso eu ajudo em muito o meu namorado com ele.
Mas o problema não é bem esse. Nunca me importei em ele ter um filho. O que me anda a deixar saturada é não ter tempo com o meu namorado, nem intimidade nem privacidade nem nada. Nem um fim de semana os dois sabem..
Eu vivo com os meus pais, e eles não me proíbem mas não estão contentes com este relacionamento,não os querem cá em casa . E o meu namorado vive com a irmã e com o pai , que é outro grande problema.. não querem ficar, nem cuidar do menino porque dizem que não é obrigação deles, já chegamos a ir jantar os dois e o pai dele ligar a dizer para ele ir para casa cuidar do miúdo que não é obrigação dele (avô) e mesmo estarmos com amigos e ligar e dizer para ir para casa que o menino está a fazer barulho, não dá para entender...quando ele vai trabalhar são capazes de deixar ele ficar sem comer. Saiem de casa e deixam no sozinho sabendo os problemas que tem. Não dá para confiar. Ou seja não há ninguém que se disponibilize a ficar com ele umas horas e de confiança. As babás não querem ficar devido ao trabalho que ele dá e a doença. Ou seja, é impossível haver intimidade e privacidade. Eu gosto muito dele e do menino... Mas ando a ficar desanimada e triste com esta relação assim. O que hei-de fazer ?