Não tem como.
A pessoa pode te olhar/encarar por uma infinidade de razões.