Primeiramente, não generalize. Homens não gostam normalmente de ménage.
Segundamente, às vezes algo pode ser agradável à imaginação, mas a realidade é bem diferente, e muitos homens sabem disso.
As principais ressalvas se referem à expectativa sobre os sentimentos da parceira: o medo de que ela se apaixone pela outra pessoa envolvida no ménage, ou que demonstre preferir uma pessoa em detrimento de outra. Há ainda o medo de que a pessoa se torne progressivamente mais libertina, e queira experimentar cada vez mais coisas. Toda essa experimentação aumenta a probabilidade de frustração sexual com o parceiro atual e de dissolução de relações baseadas em sentimentos.
Imagine que você tá querendo muito comprar algo, e acha na Internet por R$ 600,00, e compra. Está plenamente satisfeita, até que, de repente, vê que em outras lojas o produto está sendo vendido por R$ 50,00. Pessoas normalmente ficam tão insatisfeitas com essa situação que, embora estivessem muito felizes por ter comprado o produto, passam a dizer que foram roubadas! É semelhante. Você vai experimentando e descobre cada vez mais experiências prazerosas, e passa a perceber as limitações de um relacionamento monogâmico, deixando de dar-lhe tanto valor.
Particularmente, acho que essa discriminação sempre ocorre no ménage, de forma que a parceira prefere a pessoa convidada, mesmo porque é algo novo, diferente e, sobretudo, foge à rotina.
A Igreja Católica foi uma das responsáveis pela promoção da monogamia no ocidente. Antes, era comum que homens ricos e/ou guerreiros tivessem várias esposas, estabelecendo-se um oligopólio de mulheres. Com a cultura desenvolvida pela Igreja, tornou-se possível que homens comuns pudessem se reproduzir, diminuindo a diferença no sucesso reprodutivo entre ricos e pobres e resolvendo diversos outros problemas que a cultura poligâmica causava.