Depende do conceito.
As pessoas não vão embora pelo fato de admirarem alguém, mas sim

por as vezes aquela admiração ou interesse se transformarem em expectativas na pessoa, fazendo com que cada ação sua que não estiver dentro daquela expectativa ou você não estar trazendo o sentimento dentro daquela mesma expectativa não sejam atendidas e assim, indo embora.