Como a mana comentou alí, cuidado com esse tipo de homem. Ele falou isso justamente pra você se sentir mal e depois pra provar que é "segura de si" fazer exatamente o que ele quer.
Se você não quer sair com ele não saia. Foda-se o que ele vai pensar ou dizer. Seja firma nas suas decisões.
Ele tá fazendo a estratégia de te deixar bem irritada para você querer provar o contrário, ou te deixar com uma auto estima baixa para conseguir o que ele quer de você e com isso te manipular. A melhor opção é ignorar e não dar mais atenção.