Se tu sabe que as pessoas não gostam que tu demore a responder e tu não faz nada para mudar isso, ou seja, responder em um período mais curto de tempo, tu precisa e deve continuar levando esporro mesmo.
E antes que diga algo, sim, tu não é obrigado a responder logo, mas também ninguém precisa ficar esperando tanto tempo para obter uma resposta.
Olha, se a pessoa demora um tempo pra responder, eu não fico com raiva pq eu entendo que a pessoa pode está ocupada por exemplo (podendo ser outras coisas além dessas claro) mas se a pessoa está online, conversando com outros... aí sim eu fico chateado