Nesse caso, a ausência pode ter dois sentidos: não estar perto ou não participar.
Meus irmãos

e eu fomos criados junto a nossos pais, mas quem efetivamente cuidou de tudo foi a nossa mãe.
Tanto que os meninos ainda hoje, se sentem meio "retraídos" com nosso pai, inclusive meu irmão mais novo que só tem 15 anos.
Então estar junto pode não significar tanto assim.