elas respondem
A não ser que seja indiferente sobre, nunca deixe as pessoas achar que tem algum poder de incômodo sobre você, mesmo que não te faça diferença. Ao invés de se retirar, tome todo o ambiente para si gradativamente.
Felizmente as pessoas são extremamente manipulais e vivem sobre o efeito manada. Procure aquele que tá influência de forma negativa os outros sobre você e o ridicularize com sensatez, mas de forma discreta.
Não dou esse gostinho, os incomodados que se retirem se quiser
Depende do objetivo, se for algo relacionado a sua carreira por exemplo, o melhor é ficar e ignorar as pessoas.
Mas forçar a sua presença em lugares e pessoas onde você não é bem vindo além de desnecessário demonstra uma falta de autoestima da sua parte.