No geral não, mas é claro que tudo depende também.

Tem gente que fala mal,

mas no fundo paga pau.

Tem gente que nem fala tanto mal, mas deseja teu mal.

Então é muito relativo. É óbvio que se você está num ambiente onde muitas pessoas não gostam de você, de algum modo isso irá te afetar, não tem como, mesmo que seja num grau menor.