Como lidar com rumores sendo novo na cidade?

Sou um cara de poucos amigos e acabei de me mudar para uma cidade pequena, mal cheguei e tem rumores sobre mim, que eu sou um pervertido etc.
lidar com isso tendo recém se mudado e muito estressante e não sei oq fazer