Isso é meio instintivo pela competição, e culturalmente validado pela ideia da mulher como um

ser com menos capacidade de tomar uma decisão racional - ou seja, se ela traiu, foi "seduzida" e também pela antiga noção de "esposa propriedade" do marido e tal.

Hoje em dia acontece bem menos que nos velhos tempos, geralmente quando tu vê é algo passional, ou no calor do momento ou quando o cara já desconfiava e tava desenvolvendo ódio do outro.

A maioria dos casos o cara briga com a mulher mesmo.