Levar na esportiva piadinhas de mau gosto ou falar que não gosta desse tipo de coisa?

Sou muito inseguro em relação a isso principalmente quando se trata de ambiente de trabalho. Tem pessoas que adoram fazer piadinhas de mal gosto, eu detesto esse tipo de coisa, mas ao mesmo tempo não quero ser careta, mesmo porque minha mãe sempre diz que se demonstrarmos que não gostamos da brincadeira, as pessoas acabam provocando mais. Mas eu sou muito na minha, pessoas assim só querem fazer piadinha, se vc brinca com elas, não gostam, daí a gente percebe quando é ofensa disfarçada de brincadeira. Praticamente todos os meus locais de trabalho passo por isso. Eu gosto de respeito, brincar, interagir é uma coisa, ficar de picuinha é outra. Já disseram várias vezes que levo tudo pro lado pessoal. Que levo tudo muito a sério. Aff, as pessoas ou são 8 ou 80. Fico sem saber como agir. Já fiz diversas inimizades no trabalho por causa disso. O que fazer?