Normalmente não, salvo se usar um bom filtro de carbono, o que deixaria a filtragem

em um filtro de barro (apenas gravidade) muito lenta.

Mas, em geral, pelo tempo que leva a filtragem, a maior parte ou totalidade do cloro evapora.

Para redução imediata, procure um filtro com redução de cloro livre C1.
https://www.europa.com.br/blog/classificacao-purificadores/