Depende, se sua mulher é uma dona de casa e você deixar ela, isso vai criar grandes problemas pra ela que é mão do seu filho. Se ela for independente, dai acho que não, basta você não abandonar seu filho e continuar sendo presente.
Querer largar não é errado. Errado é decidir e querer voltar atrás depois. Eu pensaria várias vezes antes de decidir. Se você já está com a outra. Da uma tempo e vê realmente o que você quer. Sua decisão vai ter consequências pra vida toda.