Depende, se sua mulher é uma dona de casa e você deixar ela, isso vai

criar grandes problemas pra ela que é mão do seu filho. Se ela for independente, dai acho que não, basta você não abandonar seu filho e continuar sendo presente.