É verdade que começar a faculdade com 23 anos é tarde?

Então, eu tenho 20 anos e não quero entrar na faculdade agora, prefiro começar com 22-23. Acham que eu estou tomando uma decisão errada?