Há alguma configuração aqui no site que faça isso?

Que eu saiba, não. Quando você comenta uma resposta, aparece em cima do primeiro comentário um botão "não notificar". Mas isso é para um comentário sob uma resposta. Agora, se você responder a questão propriamente dita, nunca vi a opção pra desativar a notificação.