Não dê desculpas e nem enrole, apenas diga: "eu não quero isso", "isso não tá me agradando", "suas atitudes são incovenientes" e afins.
Quanto mais você enrolar e enfeitar o "não" é que ninguém irá levar você a sério. Dizer não, não te faz uma pessoa ruim.
Aceitar que abusem da sua boa vontade de faz ser uma trouxa.