Acredito que a melhor forma seja se esforçar um pouco para dizer que não quer

conversar no momento.
Ignorar pode fazer a pessoa se sentir mal tanto quanto brigar com a cabeça quente.