A hora certa é quando os maus momentos são superados pelos bons. Quando isso acontece,

vale a pela refletir sobre o relacionamento.

E sim, já terminei um relacionamento por isso, mas não apenas por isso. Havia vários outros motivos, como falta de compatibilidade, por exemplo.

Se você está infeliz, tentou resolver, e nada mudou, termine e vá ser feliz sozinha.
Ficar empurrando relacionamento com a barriga não dá.