Namorado que não me valoriza, me ajudem!

Namorei com meu atual há uns 3 anos atrás e foi terrível, ele me fazia mal, não me valorizava e sempre colocava outras coisas na frente do nosso relacionamento e eu acabei terminando.
Passamos 11 meses separados, sem nenhum contato e do nada ele voltou, dizendo que me amava e que queria voltar a construir uma vida ao meu lado. Eu aceitei, ele mudou em relação a pessoa de antes... ficamos até novembro do ano passado namorando e nos vendo nos finais de semana até que ele veio morar comigo por questões de trabalho. Desde então as coisas ficaram bem complicadas, a convivência etc. Mas, o que mais incomoda é o fato de sentir que não sou valorizada, pois como ele mesmo já disse "já me conquistou". É como se ele soubesse que estarei sempre ali por ele e realmente sempre estou... Sempre brigo, mas eu mesma volto atrás e peço desculpas, por mais que ele quem esteja errado.
Ele trabalha de domingo à domingo e só folga na terça, por mais que moremos juntos, nos vemos raramente durante a semana por conta dos nossos horários de trabalho, então só temos a manhã dos finais de semana (que dormimos até tarde) e o dia de folga dele. Eu me esforço, evito sempre colocar algo no dia que estamos juntos em casa para podermos sair... mas sinto que ele não. Se eu não chamar para sair ou combinar algo com antecedência, ele sempre coloca um jogo ou uma saída com um amigo, nunca há o interesse de realmente me levar para fazer algo diferente.
Outras vezes... no final de semana eu fico acordada até tarde o esperando do trabalho para vermos um filme e quando ele chega do trabalho faz qualquer outra coisa, menos sentar e ficar um tempo comigo, por mais que eu chame. Ainda, quando tento conversar, ele se isola, vira as costas para mim e me deixa falando sozinha. A situação realmente está ficando insustentável, principalmente pois moramos juntos e as coisas são bem mais intensas. Eu o amo muito, mas às vezes penso que deveria dar um tempo para mim. O que vocês acham?