É pelo mesmo motivo que ele encolhe mais no frio. É uma estratégia biológico do

organismo de expor o corpo o menos possível a uma temperatura baixa. Se o pau tá menor, é menos superfície de contato com o ar, a água ou outra coisa que tá a uma temperatura menor, então ele encolhe. E é algo biológico, ou seja, não importa se você tá vestido ou não.