Eu em geral costumo me retirar quando não quero criar intriga, mas isso ainda assim provoca impacto. Colocar fones de ouvido talvez ajude, mas isso não é compatível em ambientes que necessitam de certa comunicação.
Eu faço de conta que não estou escutando, demonstro total desinteresse no que está sendo dito e espero mudarem de assunto para voltar a participar da conversa. Há pessoas que gostam de "testar" os outros, eu detesto ser testada, então sou mestra em ignorar.
Vivo tranquilamente perto, é o meu grupo favorito até porque gosto de problematizar também, de discutir, rever conceitos, ter novos conceitos, desconstruir conceitos e etc o que não suporto mesmo é quem vive de mesmice e com pensamento arcaico.
Você claramente se incomoda com isso mas está preocupado com o que eles pensarão de você. Foque no que é melhor PRA VC e certamente vc escapará sem sequer perceber ou se incomodar com isso ;)