Como deixar de ser frouxo? Por que me sinto assim?

Sinto uma dificuldade muito grande em me posicionar e isso afeta a minha vida profissional. Onde eu trabalho por exemplo, sinto uma energia pesada na empresa inteira. É call center, tem muita gente mal educada. O pessoal fala alto, dá altas gargalhadas, gente falsa, barraqueira, folgada, fala palavrão e tudo é motivo de briga. Até pra ir no banheiro não me sinto bem. Os caras entram no banheiro com tudo, bate a porta com força, faz um barulho, parece que vai destruir o banheiro. Parece uma escola. De um modo geral, sinto muita dificuldade em dizer o que eu penso e botar pra fora. Tenho muito medo da reação das pessoas, principalmente pelo fato da grande maioria das pessoas serem tão mal educadas que qualquer motivo é pra ofender, xingar e agredir. Mas também não quero que ninguém fique cagando na minha cabeça.
Não me refiro só na empresa, mas de um modo geral em outras situações. Eu sempre respeito todo mundo. Mas isso não é recíproco. Perdi as contas das vezes que já passaram na minha frente na fila do ônibus. Vizinho sem limites. São várias situações.