Sou obrigado ser polivalente no meu emprego?

Meu chefe onde trabalho começou a fazer eu trabalhar em vários setores no meu trabalho e agora disse que sou polivalente mas eu recusei e ele disse que pode me mandar embora por justa causa se eu recusar ...agora quando eu entro na empresa entraram 3 pessoas junto comigo e eles não são polivalentes....

E o pior ...o meu salário vai continuar o mesmo ..e no meu contrato não diz que sou obrigado a trabalhar em vários setores ..

Ele.pode me mandar por justa causa isso é injusto