Acho que tem esse medo mesmo que inconscientemente. Lembro de ter lido em um livro

evolucionista falando que esse é um instinto que a gente tem desde a pré história. Tipo, vamos supor que você vive com a sua tribo, vocês caçam, vocês tem um lugar pra viver, enfim, vocês conseguem sobreviver. Agora vamos supor o que acontece alguma coisa, aí tu acaba sendo rejeitado da sua tribo e passa a ter que sobreviver sozinho o que muitas vezes acabaria resultando em mais chances de você acabar morrendo.