Depende imenso dos crimes dos bandidos, da vida e das oportunidades que lhes são dadas.

Mas

acho que tentar torna-los vítimas da sociedade é ajudar a perpetuar esses mesmos comportamentos que os tornaram criminosos.

Também não dá para colocar o mesmo peso em alguém que rouba/não paga, por exemplo, uma refeição com alguém que faz o mesmo com refeição (escolhendo a mais cara) e enche de bebida.

Diria que a sociedade pode até ter um pouco de peso, mas não o suficiente para justificar realmente esses comportamentos. Especialmente existindo tantas ferramentas como bancos alimentares etc.
Se formos desculpar bandidos porque a sociedade permite etc, vamos desculpar burlões/políticos etc.