É melhor avisar para ele que preciso me afastar?

Eu decidi me afastar de uma pessoa que está me fazendo mal ultimamente, ele não é boa influência, e as coisas entre nós não estão indo muito bem há algum tempo. Mas eu ainda tenho carinho e consideração por ele, será que eu deveria conversar e explicar que quero me afastar e os motivos, ou apenas me afastar?