Por que ele se irrita facilmente comigo mas não deixa que eu me afaste?

Eu conheço um homem há 1 ano e meio e sempre foi assim. Quando estou próxima a ele, ele parece não fazer muita questão da minha companhia, me deixa falando sozinha, reclama do meu comportamento, parece sempre entediado... Eu me sinto uma chata perto dele, uma pessoa que está incomodando. Daí, eu me afasto. E logo em seguida ele começa a me procurar. Já discutimos algumas vezes por conta do comportamento frio dele comigo. Nessas vezes eu quis me afastar de vez. E ele é a pessoa que sempre tenta a reconciliação. Eu fico muito confusa com esse comportamento dele e não sei o que fazer.