Por que não toma atitude?

Fiquei com um cara do trabalho uma vez depois desse dia não ficamos mais, porém quando estamos sozinhos ele me agarra, se insinua, me provoca já me convidou pra sair de novo mais eu disse q não podia. E agora q convidei ele pra sair também me falou q não podia sendo q ele já tinha me avisado o q iria fazer hoje. Mas o problema é a quando eu ataco ele , ele fica nervoso e as vezes foge KKK. Vive me falando da vida deles, dos problemas dele e da família. Mas já me cansei disso. Quero saber pq apesar de ele me atacar se mostrar interessado não chega logo e toma alguma atitude pelo menos de sair de novo. Já saímos 3 vezes mais só ficamos uma vez.