Devo cair fora ou insistir?

Conheci um cara no mercado, ficamos conversando um tempo e saimos, no primeiro dia ele já me levou pra casa e falou que queria transar, me assustou um pouco, não fizemos nada. Continuamos saindo e ele insistindo que queria fazer sexo, e eu não quero ficar por ficar, mas mesmo assim acabei transando com ele. Depois do sexo ele ficou falando que a gente não tem tanta intimidade, por isso foi meio estranho, que é pra gente deixar rolar sem acelerar as coisas. Ele some sempre, quando já tô esquecendo ele, ele aparece no meu portão, ou me liga, manda mensagem, e fica falando que não me quer só pra sexo, mas aí quando eu dou bola pra ele, ele me ignora no whatsapp ou fica falando "vc é bonita, vai encontrar alguém que queira namorar com vc" e fica falando pra eu ir no local de trabalho dele etc. A gente quase nunca se vê, ele só folga as segundas feiras e nessa última, ficou bravo porque eu saí com uma amiga e não com ele, sendo que ele tinha ido viajar durante o dia e a noite que queria me ver. Ele as vezes parece gostar de mim, mas não admite, diz que tem medo, tenho certeza que ele é solteiro, mas quando falo de compromisso ele muda de assunto, e eu também tenho medo. Não sei o que eu faço, pensei em não falar mais com ele. O que vcs acham?