Conversar com a pessoa e apontar o que está te fazendo mal é bem melhor

do que sumir sem falar nada. Caso depois da conversa a pessoa não mude o que está te fazendo mal, aí você se afasta.