É errado ceder um pouco ao lado um pouco mais ofensivo?

Percebi que na maioria dos lugares, inclusive onde trabalho não me respeitam. Geralmente sou o tipo de cara que tolera coisa demais. Do tipo que prefere se defender do que atacar.

Infelizmente isso tem me afetado bastante, vejo que não me respeitam ou ficam passando por cima como se eu não fosse ninguém.