Existe algo que "justifique" auto estima baixa?

Estou em um "rolo" com alguém e algumas vezes ele me disse que tenho insegurança e auto estima baixa. Perguntei pra ele se ele acha isso mesmo e ele disse que acha, "certeza". Perguntei se sobre aparência ou jeito e ele disse que sobre tudo, e falou que queria entender pq eu me menosprezo. Falei que poderia ser por coisas que aconteceram ao longo da vida e ele disse que não justifica pq já era pra eu ter superado. O que justificaria auto estima baixa, então?

Considerem que auto estima baixa não é só sobre aparência.