É muito errado ficar com alguém que seu/sua ex tinha implicância?

Não. Se essa pessoa não te fez nada, não tem porque você não ficar com ela só por causa da sua ex. Isso é entre elas.