Depende muito do contexto.
No caso, você especificou que estão na faixa de 19 a 24, então não constitui como alguém que fica com menores, logo essa questão está OK.
Agora, por exemplo, se você gosta de meninos de 19 e a sua idade for na faixa dos 40, 50 ou mais, acredito ser um pouco complicado porque é uma diferença muito grande de idade e, consequentemente, uma diferença grande de pensamento, ideias sobre a vida, senso de responsabilidade, etc.
Não acho, isso é de cada um, até porque olha o tanto de cara que fica pensando em 'novinha'. Agora com o passar do tempo você deverá preferir que a idade deles sigam como a sua, sem ter uma grande diferença