Por que os ricos possuem poder?

Fico pensando, o direito só funciona porque obedecemos, mas, o que nos impede de desobedecer? Basicamente pessoas ricas exercem poder pois possuem maiores condições de violência, e ainda usam dispositivos ideológicos e legislativos para justificá-las. Mas, se essa violência surgiu do fato do rico ser o mais forte, o que nos impede de contê-lo, já que os mais pobres são numericamente maiores? Por exemplo, uma pessoa super influente pode sair impune pelo seus crimes por ter dinheiro, mas por que? E no caso dessa pessoa ter uma milícia, por que esse grupo armado não age contra esse rico?
EDIT: Por que ter dinheiro significa ter poder? Já que o dinheiro é algo inventado por nós, o que nos impede de desconsiderar esse poder?