Não tem nenhum problema em homem ou mulher serem virgens, o único problema mesmo é quando essa condição vira um ressentimento e começam a descontar sua frustração no sexo oposto (ou até no mesmo sexo) com xingamentos e se lamentando por tudo, como se o mundo devesse algo pra eles.
No caso do homens, é isso mesmo. Fracasso, falta de beleza e vida social. Não vejo como xingamento. Quando me chamam assim, a pessoa não está errada, por isso, nem ligo.
É mano complicado isso aí, mas realmente na maioria das vezes acaba sendo isso mesmo, ou seja, homem virgem é estereotipado como o nerd feio com óculos de tampa de garrafa e sem vida social, e é estigmatizado por conta disso, enquanto mulher geralmente é porque homens são uns sem alma que só liga para aparência, imagina se não estivesse assim na maioria dos casos e para os dois sexos.