Se o homem não tem amor próprio e autoestima isso talvez possa acontecer.

Não tem como

saber o que isso quer dizer, as pessoas passaram a te conhecer e estão interessados em alguma coisa, até aí é o que temos pelo seu texto. Agora, se você não queria não precisava desprezar, "desprezar" foi uma escolha de palavra sua que denota algo condenável. Aprofundando sobre a ideia de desprezo: é uma tentativa de diminuir o outro ou criar a ilusão de que meu EU é bom de mais e nem se equipara ao valor que o outro pode oferecer. Não corresponder o outro tudo bem, nao significa que você não possa tratá-lo com gentileza, isso seria muito virtuoso da sua parte.

Será por isso que causa angustia os olhares dos colegas de trabalho? Rolou desprezo em relação ao término com ele?