Como me impor? Eu tô errada nessa situação?

Tu tava errada quando decidiu se meter nessa enrascada.

Em geral, as pessoas só têm coragem de serem abusivas com quem lhes dá essa liberdade,mesmo que sem querer.
Se ela acha que pode te tratar desse maneira, é pq algo na sua personalidade ou jeito de agir transmitiu pra ela a impressão de que pode pisar em vc.
Aprender a si impor não é algo fácil, mas é necessário. Nesse seu caso, quando a mãe das crianças voltasse, eu simplesmente diria que não seria mais babá dos filhos dela e explicaria o motivo. Ela provavelmente vai falar algo para tentar te manipular, provavelmente de foram emocional já que vcs são parentes,mas eu seria firme. Assim ela vai perceber que vc não irá mais se dobrar as vontades dela e a impressão que ela tem de que pode pisar em vc, provavelmente vai desaparecer.

Quando ela te chamar, você diz: quanto tempo? deu o tempo, já manda mensagem perguntando se já ta chegando.

Para de ficar pra ela

Vc deu essa liberdade pra ela e ela está abusando disso, na próxima vez fala que tem compromisso tal horário e não pode