A opinião ruim das pessoas sobre mim mesmo que for pessoas desconhecidas me afeta muito. Até o desprezo de qualquer pessoa ja me afeta ou um comentário ruim.
Se essas opiniões não agregarem em nada para sua vida, é bom começar a criar uma certa resistência a elas e a simplesmente não ligar. Pense que elas podem estar em um dia ruim ou que as vidas delas são infelizes, e aí acabam descontando isso em outras pessoas.
Essa pergunta não é tão simples de responder. Somos animais gregários, temos comportamentos de querermos ser aceitos em algum grupo. Todos nós dependemos, em algum grau, de interação e, portanto, de aceitação.
Mas veja, há diversos tipos de "se importar". Imagina a gente num extremo de egoísmo: não haveria caridade.
É completamente diferente de "se importar" com alguém que nem te conhece direito falar algo totalmente fora de sua realidade sobre você.