Falar em relacionamento sério em 3 meses é cedo demais?

Estamos saindo a uns 3 meses, a gente se vê quase todos os finais de semana mas é meio que sempre a mesma coisa, saímos pra beber com nossos amigos e depois vamos pra casa dele ou só ficamos na casa dele. E nessas acabei "cobrando" ele pq não sinto interesse da parte dele em fazer essa relação ir pra frente, ele em defesa disse que eu preciso deixar as coisas rolarem e que ele não tem mais essa intensidade, prefere ir com calma. Ele já foi casado antes, eu nunca fui, não sei se isso muda alguma coisa, mas será que realmente preciso ser mais paciente ou desistir?