Firma fica me ligando na minhas férias, posso recusar?

Isso é falta de bom senso e de respeito. Não só pode como deve, é um direito seu.
Eles tem que se preparar antes de vc sair, não depois que vc saiu