Na minha opinião, a diferença de idade nem é o problema, e sim a sua

idade e a idade dele.
Seria recomendado começar a relacionar a partir dos 18 anos, na minha perspectiva, claro.