Sendo bem sincera, a maioria das mulheres se importa bastante com altura e nem cogitaria, mas se ela gostar muito do cara e não for tão ligada nesses estereótipos pode dar certo.
Por ser uma diferença de altura atípica, diria que as probabilidades só valem para antes do relacionamento, nas primeiras impressões. E no caso, as chances do colega anão seriam bem baixas. Se já iniciado o relacionamento, não faz sentido voltar atrás por algo que você já aceitou. Acredito que a maioria não o faria. Pelo menos não por isso.