Não sei falar não, como resolver?

Simplesmente eu não sei falar "NÃO" pras pessoas. Sempre faço coisas que não quero por não conseguir negar simples pedidos, ou até mesmo caras que não gostei de sair, e depois não consigo dispensar por medo do que a pessoa vai achar ou falar de mim depois.
Uma luz por favor... :)