Fui até pesquisar sobre:

"Os significados por trás do poema A Casa
Uma das histórias mais conhecidas

diz que o poema, na verdade, se refere ao útero de uma mulher, o primeiro lar de todo ser humano.

A teoria até que faz sentido, mas não é a história real; ela já foi desmentida por Toquinho, autor da música Aquarela e amigo pessoal de Vinicius."

https://m.letras.mus.br/blog/a-casa-vinicius-de-moraes/