Sim, mesmo que a mensagem não seja enviada devido a você ter desligado a Internet,

quando você ligar novamente, ela será enviada, o WhatsApp tem um sistema muito rápido de envio de mensagens.