O que fazer? Ele jurou que não tem outra pessoa no meio e só quer um tempo pra ele.

Se ele não tem ninguém então o problema é você mesmo.
Deixa ele na dele, dá o tempo que ele precisa, parou pra pensar que se ele chegou a esse ponto é porque a relação não tá boa pra ele? Assim é bom porque você também pode aproveitar pra pensar na relação.