O que fazer com as pessoas que tentam sabotar a minha dieta?

No local onde eu trabalho, sempre tem coisa gostosa pra comer e doces todos os dias. Já faz quase dois meses que estou tentando ter uma alimentação mais saudável (devido alguns problemas de saúde), mas a maioria dos meus colegas acham que sou cheia de frescura.
Ontem meus colegas pediram lanche para o almoço, quando recusei minha colega disse "aff que menina chata".
Outro dia fizeram um bolo de chocolate e eu disse que não estava com fome, mas essa mesma pessoa trouxe um pedaço pra mim na minha mesa, mesmo dizendo várias vezes que eu não queria.
Enfim, teve vários episódios como esse. O que vocês fazem diante essas situações?

É muito chato ter que explicar várias vezes e além disso, às vezes eu como besteira, mas não a todo momento.