Tendo em vista que a maioria das pessoas não olham mais nos olhos para conversar,

o fato de você focar na pessoa significa que você está dando atenção ao assunto, e isso é bom.
Agora pra saber se é intimidador só pessoalmente, acho que é mais um leve desconforto das pessoas por não conversar dessa maneira.
Relaxa moça.