Sim. Contudo, também será necessário instaurar um procedimento administrativo disciplinar contra ele onde ele terá

direito de se defender.

Nesse sentido, a súmula 21 do STF:

Súmula 21
Funcionário em estágio probatório não pode ser exonerado nem demitido sem inquérito ou sem as formalidades legais de apuração de sua capacidade.