Deveria conversar sim, deixar bem claro os objetivos que ambos têm na relação.
Sobre demorar

a responder, pessoas são ocupadas é normal demorar algumas horas, foque mais em coisas como: ele puxa assunto com você? parece estar realmente interessado no que você tem a falar? a conversa flui bem?
Isso é mais relevante do que o tempo que ele leva para te responder.