Meu supervisor perguntou se posso ficar até mais tarde, devo dizer que sim?

Eu disse que nao podia, mas faz algum mal isso? Dele achar q nao qiero trabalhar e que nao sou flexivel?
O que eu deveria ter dito?