Para algumas pessoas, isso importa sim. Mas não é uma regra.
Já vi muita muié

tendo isso como requisito inclusive. Mas já vi mulheres namorando homens mais baixos que elas.