A questão da traição é entre seu pai e sua mãe. Não leve isso em consideração na hora de decidir.
Mas uma coisa tem que ficar clara para você, não é porque um deles terá a sua guarda, que você irá deixar de conviver com o outro. Por que não faz um acordo com eles, independente de quem terá a guarda, passará um período, com cada um. Por exemplo, duas semanas com sua mãe, duas semanas com o seu pai?