Deixar pra trás ou insistir em amizade colorida?

Estou saindo com um dos melhores amigos do meu ex há uns dois meses. Desde o início, sabia que não íamos evoluir pra uma relação, justamente por conta dessa situação, e aceitei porque ficar e estar com ele era legal.
Me deixei apegar do mesmo jeito. (idiota, sim)
Sábado fomos em uma festa e ele ficou com uma menina na minha frente. Fiquei chateada e sumi.
Conversamos, ele me pediu desculpas, disse que tem muita consideração por mim e só..
Eu aceitei que continuássemos, mas saber que ele conversa e fica com outras pessoas está me incomodando, o que não acontecia antes de eu ver com meus próprios olhos.

O que faço? Vai dar muito errado continuar dessa forma?