Por que as pessoas julgam a gente pelo que veem?

Me apaixonei por um homem, e sei que ele tem namorada. Somos do mesmo trabalho e evito fazer amizade com ele pra não olhar, e pegar afeição. Ele é muito maneiro e somos parecidos. Ele tem tudo que eu busquei num homem.
O problema é que as pessoas pensam que o desprezo por conta de antipatia ... Mas não é , é por causa dos meus sentimentos...
Não quero passar a impressão ruim...
Pior é que ele não entende o motivo pelo qual quase não falo com ele ou nada..
O que fazer ?
O que vocês acham que eu deveria fazer?