Claro que é normal se sentir mal com uma coisa realmente ruim.
Medo de ele voltar?

Dado que a situação provavelmente não vai mudar, você precisa solidificar a relação para vencer esse medo. Você deve conversar sobre isso com ele, dizer que sabe que ela se insinua para ele e que gostaria que ele fosse seco e restringisse as conversas sobre a filha apenas. Se ele já faz isso, diga a ele só que você se sente incomodada (o que é normal) para que ele saiba, mas não há mais o que se fazer a respeito. Você vai ter que aprender a confiar nele se quiser continuar com ele.