Ficar ou não ficar com meu namorado nos dias em que ele fica com a filha?

Ele tem uma filha de 2 anos com a ex, e aos domingos ele traz ela p casa dele p ficar o dia todo. Eu gosto muito de crianças e da filha dele inclusive, mas ele mora com os pais dele, e la os avós não saem de cima um minuto, a mãe dele faz tudo, e mima demais a menina, eu fico sem espaço p fazer nada. Eu comecei a ir buscar e levar embora a menina com meu namorado, mas n vejo mt sentido em fazer só isso, se ele morasse sozinho e precisasse de ajuda, com certeza eu ia trata la como filha. Eu vejo ela todo domingo, mas n me sinto a vontade la na casa dele, entao to procurando so ficar junto qnd eles vao fazer um passeio, estou me afastando..