Há inúmeras razões, e a grande maioria relacionada mais com algo biológico do que de

fato moral; o macho de qualquer espécie tem o reflexo de reproduzir com o maior número de fêmeas possíveis, para dar linguagem a sua genética (até porque, só os melhores machos reproduzem muito), é uma maneira da espécie sempre ter filhotes com potencial. Nós humanos temos esses reflexos, óbvio que há toda uma civilização ao nosso redor, com questões muito mais complexas, como a sexualização da fêmea da nossa espécie: vocês são vistas e se vendem como objetos.
Eu acredito que essa seja a razão mais forte, porém há outras: tentações, oportunidades, uma mulher mais atraente que a sua, sua mulher não te satisfazer, enfim.