Como eu devo agir nessa situação?

Comecei a covsar c um cara, uma conversa q partiu dele dizendo que estava interessado em mim. Foi bem legal no começo, mas, agora, ele demora horas p responder, mas smp volta pedindo desculpas... Só q já ficou meio chato.

Quero deixar pra lá... Como fazer isso?

Ele segue mandando msg de "bom dia"... mas ficar conversando assim é ruim demais.
Não quero ser rude, sou mt rude nas palavras, então não sei como agir.
Pergunto isso pq ele é bem próximo da família e não quero "brigar" ou deixar um clima ruim, já que a possibilidade de tombar com ele em vários eventos familiares é alta.

Obs.: Nunca ficamos.