No Brasil, se eu comprar uma terra mas nunca morar nela, pode alguém se adonar e invadir?

como fica a situação depois disso? comprei a terra e ficou 4 anos parada abandonada e alguem viu e subiu em cima, como faço pra tirar? isso pode acontecer? acontece frequente? vejo gente falando muito nisso