Ele ficou chateado por um motivo bobo, o que fazer?

No segundo encontro com o meu ficante ele me chamou pra ir na casa dele, só que não fui. Fomos a um bar e eu disse que precisava ir embora, ele falou que se eu quisesse ir podia ir. Depois disso ele parou de falar comigo, fiquei sem entender o porquê, aí mandei mensagem e ele disse que ficou triste pq não fui na casa dele.