Podem ser várias coisas, às vezes timidez, insegurança, vergonha,ou apenas tem dificuldade de contato visual,

também pode ser que a pessoa não goste da outra,se sinta incomodada, aí nem olha no olho. Ou pq não está com vontade de falar. Enfim, tem várias possibilidades.