Isso é por causa da medida de tempo que você conhece. Explico:
Com dois anos, tudo

o que você conhece de tempo da sua vida, são dois anos!!! Óbvio. Se viver mais dois anos, dobrará o que conhece de tempo. É muita coisa!!!
Com 20 anos, se viver mais 2, será um acréscimo de 10% e não 100% à sua vida, como quando tinha 2 anos. Com 40 anos, será acrescido 5%.
Não é que o tempo passa mais rápido, é você que tem uma percepção maior de quantidade de tempo.

É igual distância, se você é acostumado a viajar o Brasil todo à trabalho, 300Km são um pulo rápido. Se vc trabalha e estuda na sua cidade, 300Km é uma puta viagem. Por causa da sua noção de distância!
Entendeu?