Alguém já te inspirou medo ou receio mesmo sem demonstrar nenhum comportamento agressivo/violento?

Levando em consideração apenas aspectos comportamentais.
Não me venham com piadas de dois caras numa moto.

Sim.

Acredito que na maioria das vezes é porque a pessoa lembra alguém que nos causou

medo ou dor na infância e embora a lembrança esteja presa no inconsciente nós instintivamente reagimos.

Há também o fato das pessoas passarem sinais de nervosismo e agressividade que são perceptíveis de forma automática sem nos darmos conta na mente consciente.