Acho que porque com mulher tem muito mais preconceito e julgamento.
As pessoas veem um homem

com filho e pensam "ah que lindo,ele é um pai responsável"
Mas quando veem uma mulher com um filho pensam "que puta safada,vagaba que não presta,sai fora inferno"
Desse modelo,as pessoas julgam as mulheres sem nem saber do contexto e da circunstância