Se ele realmente for possessivo é complicado...
Seria bom vc se impor, chamar pra conversar, que

não gosta disso, deixar as coisas bem claras,..
Pessoas possessivas são tóxicas, e tendem a partir para a ofensa e/ou agressão, controle da vida social e etc.

Mas as vezes uma boa conversa, sendo clara que trm medo que isso aconteça, e que se acontecer vc não vai aceitar e vai falar pra todo mundo ajuda.

Claro, seja ponderada tbm, não vai dar uma de doida por nada