É normal eu ter medo dos caras que eu fico se conhecerem e falarem mal de mim?

Quando fico com um homem,sempre me preocupo em não ficar com outros caras do mesmo lugar,parece medo de eles se conhecerem e falar mal de mim! É um medo ridículo, mas não sei porque o tenho e não sei como me livrar!
Os homens conhecem meninas da minha cidade,sai e estão nem ai se eu conheço ou não.
Por favor, como me livrar disso?