Simples, a sua memória é seletiva, ela só seleciona boas coisas para você lembrar, e

como diz a frase, o tempo não volta, o que volta é a vontade de voltar no tempo.

Mas eu também tenho outras teorias para esse sentimento nostálgico, mas seria muito grande e complexo para escrever aqui.