Depende muito. Se é daquelas pessoas que ficam mandando corrente eu não respondo mesmo, mas não apago caso tenham algo diferente pra falar outra hora.
Ou então porque estou ocupado na hora e penso "daqui a pouco respondo". Mas passei a me fiscalizar e aora falo "Estou terminando um negócio e já te respondo", acho que é melhor do que deixar no vácuo.