No geral não, mas é claro que tudo depende também.
Tem gente que fala mal, mas no fundo paga pau.
Tem gente que nem fala tanto mal, mas deseja teu mal.
Então é muito relativo. É óbvio que se você está num ambiente onde muitas pessoas não gostam de você, de algum modo isso irá te afetar, não tem como, mesmo que seja num grau menor.