Você não deve mudar para se encaixar no grupo deles.
Tem outras pessoas no seu trabalho?

Pode tentar interagir com outros que se assemelham mais a você, mas também não tem problema nenhum em você querer ficar sozinho. Pode também se aproximar desse grupo que só falam coisas "chatas" e jogar assunto diferentes, ou estar ali com eles mas sem falar sobre essas coisas.