Ele fez algo que te desrespeitou? Ele foi rude ou inconveniente com você? Não precisa menosprezar a companhia e amizade de alguém dessa forma. Se você não quer mais amizade dele, vá cortando o contato aos poucos, mas de forma educada e cordial, não precisa "meter o louco".