Melhor separar.

Ambiente conflituoso é péssimo pra criança, depois é só visitar elas, ter guarda compartilhada

ou elas podem morar contigo, hoje dia não tem mais essa de que só a mãe pode ter os filhos morando com ela.

Edit. Inclusive conheço um rapaz que os filhos moram com a mãe, mas é bem equilibrado, as crianças passam o tempo com ele tanto quanto com a mãe (às vezes até mais com ele).