Nesse caso do seu exemplo, sim. É uma justificativa coerente, que não veio só do seu cu. Mas quando a gente só diz que não pois não queremos, geralmente não é necessário justificar. Apesar disso ser muito coisa de brasileiro.
Geralmente sim, pois apenas responder "não" parece muito seco, acho necessário justificar. Só dou aquele "não" seco quando estou bravo, não quero conversar no momento, simplesmente não quero falar mais sobre o assunto, por considerar algo delicado, chato, quando você mais fala e justifica, mais complicado fica, etc. Aí apenas um "não" ou "sim" seria a melhor resposta.