Por que "virgem" é usado como xingamento? Existem diferenças entre os sexos?

O que vocês acham sobre o tema?
São fracassados? São seres desprovidos de beleza e vida social?

Existem diferenças entre o virgem homem vs virgem mulher?
Por que um é aceitável e outro é detestável?