Geralmente sim, pois apenas responder "não" parece muito seco, acho necessário justificar. Só dou aquele

"não" seco quando estou bravo, não quero conversar no momento, simplesmente não quero falar mais sobre o assunto, por considerar algo delicado, chato, quando você mais fala e justifica, mais complicado fica, etc. Aí apenas um "não" ou "sim" seria a melhor resposta.