Na sua opinião, o que mais desgasta um relacionamento?

Isso é algo bastante relativo. Penso que não exista uma regra quanto a isso.
Falando com base em minhas experiências pessoais e dos casos que eu tenho conhecimento, os fatores que mais levam ao fim de relacionamentos, são a falta de diálogo e empatia pelo parceiro se tratando dos relacionamentos não tão longos(Menos de 5 anos) e rotina e falta de inovação, se tratando dos mais longos(5-10 anos pra cima).
Mas como eu disse no primeiro parágrafo da minha resposta, Isso vai depender do contexto de cada casal em si.

Indiferença, orgulho, imaturidade etc...

Eu acho que é basicamente a falta de consideração, ou seja, a indiferença. É quando cada qual vai pro seu canto, não há mais troca de carinho, afeto, atenção, compartilhamento, reciprocidade, cuidado, tempo de qualidade, etc. Um não procura mais o outro. Quando chega nesse ponto, geralmente, muitos optam pelo divórcio.