Não falaria Elu porque eu chamaria pelo nome só.

E não sei se sentiria a necessidade

de falar da pessoa quando não está presente... Aí não iria usar elu etc.

Porque só é necessário usar Ela/Ele/e afins quando estamos a falar da pessoa em causa para outra pessoa... Então não me imagino a fazer isso a não ser que a pessoa me dê algum motivo específico.