Só me afastaria. Diria que estou passando por algumas coisas que preciso resolver e vou me dedicar um tempo pra isso, por isso vou dar uma sumida. E pronto.
Tô na mesma situação que você, eu tento sair fora mas ele sempre dá um jeito de me puxar de volta, é complicado viu. Nem quer voltar e nem me dá espaço pra fazer nada.