A altura pode influenciar muito caso o homem seja pequeno ou tanto faz?

Pessoal eu gosto de uma menina que é muito minha amiga mas tenho um pouco de medo pois ela é bem mais alta do que eu (1,80) e eu(1,55).
OBS:sendo sincero eu nem me importo mas...fico preocupado que isso possa vir me afetar caso eu não saiba o que estou fazendo.