Isso é muito relativo, não ter interesse na pessoa não significa dizer que automaticamente vai

excluir o contato, seu número pode ser apenas um enfeite ou alguma deixa, caso a pessoa( ele) mude de ideia e queira chegar em você.