Não mesmo.
Não tem haver com falta de confiança porque aí é com ele, é ele

quem decide
Mas diria que não pra mostrar que eu tenho um pouco ciúmes de quem está do meu lado, de quem eu me importo.
Mas se ele quisesse ir eu não iria impedir mas também iria sair com meus amigos e ponto final.