Pessoalmente, eu só não entendo o termo. Então em parte é esse fator de confusão,

de não entender o que está querendo ser dito. Segundo, é por motivo de que parece que estão lhe dizendo que você tem algo de pueril, infantil, inocente, inofensivo, ingênuo.
Não sei quanto à conotação que os outros homens dão, tho.