Isso só você pode decidir.
Você quer namorar para, em um futuro, talvez, casar com ela?

Pois independente da criança ficar mais com a avó, ela ainda é a mãe. E querendo ou não, tanto você quanto ela terão responsabilidades com a criação do filho dela.
Se você não quer isso, ou não se sente preparado, melhor não namorar.