Não. Para eu me apegar a alguém, preciso ter tido um contato significativo com ela

e as vezes nem isso é o suficiente.
Não acho que ter dificuldade em se apegar seja necessariamente algo ruim, vai depender de cada pessoa. As vezes se trata de alguém que é mais seletivo para as suas relações interpessoais ou poder ser algum trauma.
Como eu falei, vai depender de cada caso.