Uma garota de 16 anos que namora um de 19 anos, se ele tivesse 23 anos seria muita diferença?

Sim. Menor de idade não deve se relacionar com alguém de maior. 23 é pior ainda porque são 7 anos de diferença. Não tem nem cabimento.