Conversaria com ele, diria que eu não me sinto confortável com essa situação e que

preferiria que ele se afastasse dessa pessoa. Se ele não quiser se afastar não tem nada que eu possa fazer, mas eu ficaria bem incomodada.