Como lidar com pessoas que ficam insinuando e espalhando por aí que você tem alguma condição especial sem ter?

Não lido. Só ignoro. O que dizem não muda quem eu sou.
Xingar uma nota de R$100 não muda o valor dela.