Converse com ele e diga o que está sentindo, fale o quanto isso te faz mal. Cobre dele!
Se mesmo assim ele ainda continuar dando margem para ela, acho que você deve terminar. Mas, não faça isso insegura, esteja certa para que não se arrependa e não sofra por arrependimento.