Homem encostado que não ajuda nas despesas da casa

Estou em um relacionamento há mais de cinco anos , ele é divorciado e tem tres filhos ,uma casada e dois menores . Acontece que desde que começamos a namorar eu sinto que há algo errado , pois ele ganha mais que eu , mas como não tenho filhos fico com mais dinheiro . Quando começamos ficamos na casa de minha mãe que é falecida , ele surgiu quando ela estva na uti e aí começamos a relacionar, porém sempre comia , dormia bebia lá e não trazia nada , ele financiou uma casa a qual pago metade das parcelas , e dei metade da entrada , de tanto ele falar para mudar para a casa finandciada mudei há doiss anos , mas poucas vezes ele comprou umas coisinhas de comer , e ainda reclama do que está faltando , gosta de comer do melhor. Eu não quero ser egoista e nem aproveitar de homem, mas penso : não tenho filho e nem teremos , pois ele já tem e nem quis ter comigo porque acha que dá trabalho , vou ficar pagando casa pra filho de outra herdar e ainda tenho que arcar com as despesas sozinha , ele diz sempre está apurado o salário dele nunca dá. Fico em dúvidas , pensando que estou sendo ruim , estou em dúvidas do que fazer