Para mim, o mais importante seria estar com alguém que quer percorrer pelos mesmos caminhos. Assim, a idade pode atrapalhar em alguns casos sim, já que idades diferentes costumam refletir fases diferentes.
Na verdade a idade não é bem um fator, mas sim os pensamentos se forem bem divergentes não tem como ter um relacionamento. O que acontece é que geralmente as pessoas da mesma faixa de idade costumam ter os mesmos pensamentos.