O cara não querer ter contato por causa do fora que levou é algo compreensível.
Mas

se ele realmente te tratou mal, foi errado da parte dele.
De qualquer forma você não é obrigada, assim como todo mundo, a ficar perto de ninguém, você pode escolher com quem você tem contato ou não, é um direito seu. O que não pode é ser mal educada, sempre trate com respeito, é a melhor moeda de paga para uma pessoa que mal tratou, te enobrece como pessoa e te superioriza.