isso acontece porque você deixa ele perceber que tu estás totalmente nas mãos dele, então

ele faz o que quer, responde as mensagens a hora que quer,
Se você quer mudar isso eu aconselho você a se valorizar em primeiro lugar e não mande mais mensagem nem que ele mande primeiro