É normal isso ou é carência?

É verdade que o primeiro amor a gente não esquece?
Fiquei com um cara, no começo não gostava dele apenas o admirava, ele me pediu em namoro,aceitei.Porém não demos certo . Não chegamos a ter relação, mais puta que pariu já fazem 4 anos e de vez em quando me pego pensando nele. O pior é que o infeliz me persegue querendo voltar, já me ligou, mandou mensagem e até convite em rede social. Só que não aceitei. Desde então não consigo me relacionar com outra pessoa.
Acho que no fundo ainda tenho sentimentos por ele, ou sei lá pode ser carência.
Só quero saber se isso realmente é verdade a primeira pessoa que nos envolvemos sempre vai nos marcar?