Para mim, o mais importante seria estar com alguém que quer percorrer pelos mesmos caminhos.

A idade pode atrapalhar sim, já que idades diferentes costumam refletir fases diferentes. No seu caso, acho que a diferença não está tão grande, mas tem que ver o qe vcs pretendem, caso venham a ter um relacionamento.