Pode ser inveja. Pode não ser nada, mas pode ser tudo.
Pelo que sei uma pessoa

demora uns 50 segundos pra criar uma primeira impressão de alguém.
Infelizmente as vezes essa primeira impressão é ruim.

Falei falei e não disse nada. Mas nem sei se tem uma explicação para isso.

Edit: As vezes alguém que não gosta de vc, falou mal e as pessoas infelizmente tem essa tendência de acreditar na primeira coisa que ouvem, e ja julgam e até condenam sem nem mesmo perguntar ou sequer avaliar. Apenas acreditam.