Como se afastar de alguém sem magoar a pessoa?

Quando não se pode corresponder o sentimento dessa pessoa... O ideal seria se afastar, né? Mas como fazer isso sem deixar ele triste ou com raiva de mim?