Como cortar uma liberdade que não dei a uma certa pessoa no trabalho de nível hierárquico acima do seu?

Se trata de um diretor (não é grande coisa na empresa em questão) que fica "brincando" e fazendo piadinhas que eu já estou de saco cheio e gostaria de dar um corte Tramontina de uma forma educada mas que ele entenda o recado dado. O ruim de fazer isso é que ele é uma pessoa que está acima de mim mas não trabalho diretamente para ele embora fazemos quase que a mesma coisa. E nessas brincadeirinhas, ele é muito invasivo e penso que o melhor a se fazer é cortar intimidade que sequer foi dada mas não sei como fazer de uma forma que não seja muito chata.