Como acabar com a sensação de que meu chefe faz fofoca de mim quando não estou por perto?

Ele é assim, já presenciei ele falando mal de terceiros na minha frente e ele já comentou de mim pra amiga dele que trabalha no setor. Não consigo parar de pensar nisso e toda vez que estou na presença dele fico insegura pra caramba a ponto de ficar dura, imóvel.