Acho que isso existe porque mulher costuma elogiar roupa uma da outra. É bem comum

você escutar de uma amiga “Que vestido lindo! Que blusa linda! Onde você comprou?”. Os homens costumam elogiar a beleza como um todo: “Nossa, você está linda hoje”... acho que daí vem essa percepção de que nos vestimos para as mulheres... elas que realmente vão dar atenção a roupa em si, enquanto os homens vão observar a beleza da pessoa que a está usando.