Vc não é dona dele e ele não é seu dono. Em segundo lugar, se

há confiança entre vcs e vc conhece os amigos dele, se tem confiança, então não há pq se prepcupar. Do contrário, converse cpm ele sobre seu incômodo, se ele respeitar sua opinião vai optar por ir noutra oportunidade quando vc puder ir junto