Se toda vez que ele te convida você não pode, é claro que ele vai achar que é desculpas suas pra não sair com ele, então se você gosta dele dê um jeito de saírem antes que ele se canse de ficar esperando.
Já que o horário/dia dos encontros que ele marca contigo, não bate com seu tempo disponível, te aconselho a VOCÊ propor o encontro segundo sua disposição. Pois só você sabe quando pode sair, então veja um dia que você vai estar de boa, mande uma mensagem a ele o convidando pra sair em tal horário, se ele topar, vai que é tua mulher!!!