Depende do contexto.
Isso não é uma questão de concordo/discordo.
Se está com ciuminho, medo

da mulher trepar com o ex-marido etc. então deixe a mulher viver a vida dela e vc segue a sua. O que não pode aí é impedir a pessoa de viajar com o próprio filho porque eles ficarão no mesmo lugar com o ex. Eles são/eram uma família, não tente estragar isso. Há pessoas que sobrevivem muito bem sendo bons pais, mesmo não sendo mais um casal.
Ou vc entende isso ou pede pra sair. Mas não atrapalhe a vida dos outros por insegurança sua.