Estou esfriando a cabeça pra não fazer besteira amanhã, eu estou errado?

Galera eu sou um rapaz trabalhador, todos os meus colegas de trabalho tem 2 horas de almoço, meu patrão fez diferente comigo, eu chegava 9 da manhã e saia as 18,30 da noite, tendo só meia hora de almoço meio dia, porém.. ele inverteu, pra mim chegar 8:00 e sair 17:00 em um dia e no outro dia chegar 9 e sair 18:30 porém.. nos dias que eu saio 17:00 ele manda um monte de funcionários fazer favor pra ele sem me avisar antes e em cima da hora pede pra mim ficar até as 18:30 ai eu morto ja de cansado tenho que ficar lá, ai hoje um rapaz foi ao médico e ele não me avisou nada, ai saiu ele e esse funcionário, deu meu horário falei com o pessoal que estava indo e fui embora, agora a noite recebi mensagens da colega falando que ele tava p da vida la dizendo que eu não tenho bom senso nenhum, que eu não tenho comprometimento e que amanhã iria conversar sério comigo, e sendo que hoje eu ja tinha marcado compromisso pras 17:20 amanhã estou querendo botar o celular em modo avião e ligar o gravador de vóz e deixar escondido no Bolso enquanto ele me esculhamba, será que eu estou errado ao achar isso um absurdo ? Tipo eu fiquei sozinho mais cedo com a mesma quantidade de funcionários quando o pessoal tava no horário de almoço e ele não disse que tinha pouca gente, agora eu saio no meu horário ele diz que eu não tenho bom senso, e eu ainda sou chamado por ele de funcionário que mais erra, de mais desatento, sofro uma perseguição terrível só pq quando eu comecei a 5 anos atrás eu era realmente tudo oque ele diz até hoje que sou sendo que hoje la, os funcionários dizem que sou um dos melhores de la e ele ainda faz isso comigo até hoje, acham que é uma besteira oque vou fazer, acham que se eu entrasse na justiça contra ele eu perderia muito tempo e não ganharia nada ?