Como falar com o ficante que eu não quero mais ficar com ele?

Eu já conheço ele há muito tempo e nos encontramos todos os dias da semana no trabalho. Estamos ficando há um pouco mais de 1 semana, mas confesso que foi por impulso da minha parte. Ele demonstra gostar e ser atencioso comigo, mas para falar a verdade, ele me irrita muito!
Como dizer que não quero mais ficar sem deixar isso atingir nossa "amizade" no trabalho?
Ele quer sair hoje e não tenho a mínima vontade.