Acho que tem duas opções: Conversar com psicólogo sobre isso porque pode ser um sinal

de outras condições, ou simplesmente ser honesta e sincera dizendo NÃO quando alguém fizer menção de ir te visitar.