Quase sempre que alguém fala em limite à liberdade de expressão usa-se argumentos subjetivos: discurso

de ódio, dignidade, estabilidade política etc. Ao criar um critério subjetivo você abre as portas para que determinados grupos usem esse critério subjetivo para calar quem os incomoda.
A única exceção que me parece plausível é fazer acusações contra alguém sem provas. Mas, nesse caso, ainda que haja uma zona cinzenta, é algo mais objetivo e não fere a liberdade de expressão. Eu ainda posso dizer - por exemplo - que tal pessoa “teria” comitido um crime.