Ele está me enrolando? O que devo fazer?

Namoro a 1 ano 7 meses, completamos hoje inclusive. Ele tem 25 anos e eu 24, estamos terminando a faculdade mas ele tem uma filha. Quando conheci ele, ele me disse que a ex engravidou "de propósito"
A menininha tem 4 anos e eu até gosto dela, mas nesse tempo de namoro vi ela apenas algumas vezes. Quase nunca vou na casa dele, que mora com os pais
Ele pega a filha um final de semana sim e o outro não, e quando ele tá com a filha a gente não se vê e mal se fala. Ele nunca me convida pra ir à casa dele, passar um final de semana. Sempre ele que vem pra minha casa. Quando o conheci, morava sozinha e agora moro com minha mãe e meu padrasto e mesmo assim ele tem passe livre aqui em casa. E eu nunca dormi na casa dele, em 1 ano e 7 meses de namoro!! A justificativa dele é que eu fumo, mas as ex dele também fumavam e todas ele levava na casa dele, menos eu. Sem contar que as ex deles são brancas padrões e patricinhas, coisa que eu não sou.
Eu sou bonita, mas me sinto insegura. Parece que ele não me leva a sério e não quer comprometimento comigo. Não sei se estou sendo ansiosa demais.
Eu sinto que todos ao redor dele gostariam que ele voltasse com a mãe da filha dele e como se eu fosse um empecilho.
Apesar de tudo isso, ele até é um bom namorado, me ajudou muito em momentos de dificuldade, assim como eu o ajudei demais.
As vezes acho que ele sente vergonha de mim. Sempre que falo desses assuntos com ele, ele foge. E eu to a um passo de desistir. Gosto muito dele, sinto que ele gosta de mim, não sei o que fazer :(