Por que ele se irrita facilmente comigo mas não deixa que eu me afaste?

Eu conheço um homem há 1 ano e meio e sempre foi assim. Quando estou próxima a ele, ele parece não fazer muita questão da minha companhia, me deixa falando sozinha, reclama do meu comportamento, parece sempre entediado... Eu me sinto uma chata perto dele, uma pessoa que está incomodando. Daí, eu me afasto. E logo em seguida ele começa a me procurar. Já discutimos algumas vezes por conta do comport...