Ele claramente sente necessidades que vc nao pode suprir. Conversa com ele sobre isso, veja

se conseguem chegar num acordo, ainda mais agora que vc precisa de apoio para cuidar do bebê. Caso contrário, se não existe possibilidade de abrir relação ou fazer algumas "estripulias" junto com ele, aí só tem um jeito se resolver.