Acho que deve vir do palmito, que vem do açaizeiro ou purpunha, cujo miolo é

um pedaço de pau branco.
Palmitagem porque gosta de uma madeira branca. Acredito que seja isso, pois nunca vi ninguém chamando um homem de palmiteiro.