Por seu relato, neste contexto, achei que foi apenas uma brincadeira.
Mesmo sendo apenas

uma impressão, talvez seja o momento de você ponderar nos comentários referente ao ambiente de trabalho.
Havendo esse receio com a percepção ou a imagem que você monstra para ele, também considere a q vc tem com a dele.