Uma pessoa manipuladora dizer que você é manipulador, já é uma forma de manipulação?

Não. É uma plena identificação de caráter.