Você deixa de seguir alguém que não te segue de volta?

Sim.
A menos que a pessoa seja um famoso. Do contrário, não sou fã de ninguém.