A expressão de uma pessoa afasta as outras?

Tenho o rosto muito fechado( natural), a famosa cara de bravo,as não sou assim, porém já ouvi de pessoas algo do tipo: "nunca falei com vc pq vc tem cara de metido/bravo",queria saber se isso realmente causa "medo" de se aproximar ?
E alguma dica pra melhorar isso(pois como disse isso e natural) ?