O ditado fala se referindo a sua perna e não a do enganador

"ah, fulano me

passou a perna"

Esse passar a perna se refere a "perna" de quem foi enganado, e não de fulano

Então de um cadeira te te passar a perna é a sua, e não a dele