Ué, depende.
Se o cara está desesperadamente procurando uma namorada, focado em finalmente perder a virgindade e falhando sempre nisso, então sim, é um fracassado.
Agora, se ele leva a vida normalmente, focado no trabalho ou nos estudos, por exemplo, sem dar muita importância para o fato de ser virgem ou para relacionamentos em geral, então não, não é.
Se isso não é um objetivo para ele, se ele nem está tentando, então não tem como ter fracassado.
Não acho que seja raridade. Tem muitos caras aí que são mais reservados, às vezes invisíveis para a sociedade, que são virgens, que não ligam muito pra isso e estão vivendo a vida normalmente.