Acho bem broxante. Mas ficar disponível a qualquer hora do dia tb é zuado. Se

a pessoa sugere um horário nada a ver, tipo muito cedo ou 14h, 15h, ou aquele horário bem do tipo, 21h de semana, SEM CHANCE . Fala que só pode tal dia e tal hora. Não deixa ele pensar que pode te usar quando não tiver mais nada interessante na agenda dele.
A minha regra é, se recusar, sugira outra data que pode. Ou então na próxima vez, vc convida a pessoa. Isso vale pra ambos os lados