Na prática ninguém vai prestar atenção o suficiente para perceber que alguém é observador, só vêem isso se interagem e a pessoa comenta de algum detalhe.
Visto de fora parece apenas uma pessoa que quer se afastar dos outros, então é normal a primeira impressão não ser positiva.