Eu posso perder a guarda da minha filha para o avô (meu pai)?

Eu me separei do pai da minha filha quando ela ainda era bebê e fiquei com a guarda unilateral por comum acordo, todo mundo da família paterna me elogia que eu sou uma excelente mãe, minha filha é super educada, meiga e inteligente, daquelas crianças que não dão trabalho nenhum, ela tem três anos. Porém sou usuária de ecstasy desde a adolescência, mas não usei quando estava grávida nem quando estava amamentando, mas hoje em dia faço o uso a noite depois que minha filha já está dormindo sem expor ela a droga nem faltar com os cuidados dela (o pai dela sabe e não liga, pois também é usuário eventualmente). Então há três meses mudei de estado (com o consentimento do pai, que vê a filha regularmente e conversa sempre por ligação e chamada de vídeo) e sou casada há mais de um ano e meu marido usa comigo a noite, então por ficar longe da neta desde que decidi me mudar meu pai me ameaça com isso, dizendo constantemente em tirar a guarda da minha filha. E também alega o fato de ter mais dinheiro, pois minha filha aqui estuda em uma creche pública. Posso vir a perder a guarda da minha filha por isso? lembrando que minha filha não quer de jeito nenhum morar com o meu pai, ele levou ela pra passar uma semana com ele nas férias ela chorou tanto que no segundo dia ele teve que trazê-la (e ele está morando há 500 km daqui).