Ui!
Eu desanimaria, ficaria constrangida.
Ou experimentaria responder, " Para conversarmos um pouco. Mas se você não

quer conversar, tudo bem."
A depender da reação dele, encerra-se o assunto.