Não dá para adivinhar o que se passa na cabeça do outro.
Pode ser que

eu esteja olhando para a pessoa tentando me lembrar de onde a conheço. Troco intensamente olhares sem segundas intenções.
Só o olhar é muito arriscado. Sugiro recorrer a maia elementos complementares