Depende.
Estamos no mesmo lugar? Faz quanto tempo que ele não me responde? A princípio não faria nada, só observaria pra ver até onde ele iria, e como ele vai agir quando voltar. As vezes as pessoas querem pretexto. Se o questionamento partir de você, ainda pode te culpar, se é que me entende, mas as vezes não é o caso dele.