Como terminar uma amizade sem conflitos?

Quero terminar uma amizade que não está me fazendo bem, estou optando apenas em afastar sem dizer nada. Ou é melhor deixar claro para a pessoa que não quero mais a amizade dela?