Significa que pouca ou quase nenhuma pessoa consegue conviver com este alguém. Isso se deve porque a pessoa é muito chata, ou não se esforça para manter amizades.
Geralmente é sempre o segundo caso. A pessoa nem é chata, mas faz esforço mínimo para manter amizade. Some, não manda mensagem, não tá nem aí, não inicia uma conversa, se recusa a sair, não quer participar...