Devo me desculpar por algo que não disse?

Durante uma discussão com os meus sogros, eles juram que ouviram eu falar que agrediria o meu sogro. Até a minha cunhada e o namorado dela (que nem estavam perto) disseram que escutaram.

Agora querem que eu peça desculpas por ter dito isso.

O problema é que eu NÃO FALEI...

Vcs acham que eu devo pedir desculpa por algo que não fiz?