É mano complicado isso aí, mas realmente na maioria das vezes acaba sendo isso mesmo,

ou seja, homem virgem é estereotipado como o nerd feio com óculos de tampa de garrafa e sem vida social, e é estigmatizado por conta disso, enquanto mulher geralmente é porque homens são uns sem alma que só liga para aparência, imagina se não estivesse assim na maioria dos casos e para os dois sexos.