É muito errado ficar com alguém que seu/sua ex tinha implicância?

Está correto, contanto que você não use essa pessoa apenas para atingir o seu ex; do contrário, seria errado. Em um relacionamento, é normal não concordar com todas as opiniões e posicionamentos do parceiro, afinal, ninguém é 100% compatível com o outro. A regra de ouro é jamais brincar com os sentimentos alheios.