Quando vou me despedir de alguém e a pessoa responde "vai lá", parece que quer se livrar de mim?

Você também tem é assim ou é impressão minha modo da pessoa dizer?