primeiro, saiba diferenciar colegas de amigos. A maioria são colegas, e existe sim inveja nos

que rodeiam.
Se afastar, tratar como "colega de bar, colega de festa" é a melhor coisa.