Ficar ou não ficar com meu namorado nos dias em que ele fica com a filha?

Ele tem uma filha de 2 anos com a ex, e aos domingos ele traz ela p casa dele p ficar o dia todo. Eu gosto muito de crianças e da filha dele inclusive, mas ele mora com os pais dele, e la os avós não saem de cima um minuto, a mãe dele faz tudo, e mima demais a menina, eu fico sem espaço p fazer nada. Eu comecei a ir buscar e levar embora a menina com meu namorado, mas n vejo mt sentido em fazer só...