Se ele foi maltratado, faz parte da natureza humana retribuir o mal com o mal. Não que seja certo, né, mas é compreensível ter raiva de alguém que te destratou ou te fez maldade. Não tente racionalizar isso aí.
Só pra não sair por baixo né. Isso independe se ele tinha ou não sentimentos por vc, se só vc tinha por ele e ele sabia disso, isso já é o suficiente pra ele fica magoadinho.