"Não é você, sou eu."
Só que de uma maneira ampla e detalhada, para ficar convincente.

Ou

fale que a culpa é da pessoa mesmo, mas com educação e respeito.