Eu tenho 1,64m mais ou menos, acha que isso pode me atrapalhar assim em questão de atração?

Acho que não. Se você encontrar alguém que te ame ou goste muito de você ela nem vai ligar para seu tamanho isso será só apenas um detalhe para ela.