O pai do meu filho está me tirando a paz, o que eu faço?

Tenho um filho de três anos e vivo numa batalha desgastante com o pai dele, nós cortamos relações mesmo antes de ter ciência que eu me encontrava grávida, eu usava LSD, mas no momento em que descobri a gestação eu parei, e até ele completar um ano eu não usei mas após isso houve uma recaída e retornei a usar LSD com meu atual namorado e aconteceu que uma vez meu filho pegou o pedaço de papel (LSD) e por pouco não enfia na orelha mas eu alcancei e consegui tirar da mão dele, fiquei abalada com isso mas ficou tudo certo, então depois desse ocorrido eu larguei de vez, não uso mais, só que agora, o pai do meu filho jogou na minha cara (por mensagem) só porque eu pedi para ele depositar a pensão ele vai dizer para o juiz que isso ocorreu porque contaram pra ele e ele disse que tem testemunha (quando aconteceu eu fiquei tão assustada que acabei contando para algumas pessoas que eu achava que podia confiar) e ainda acrescentou que diria coisa a mais só pra me ferrar, disse que falaria que meu filho passou por uma tentativa de violação sexual. Me sinto fraca com a ideia de perde a guarda do meu filho, me ajudem, o que fazer pra parar esse homem? Ele vai conseguir me fazer perde a guarda do meu filho? Eu estou sem ter paz aqui

OBSERVAÇÃO:
O PAI DO MEU FILHO NÃO VEM OLHAR ELE, NÃO É PRESENTE DESDE A GRAVIDEZ, DENTRO DE TRÊS ANOS DE VIDA DO MEU FILHO ELES SE VIRAM NÃO MAIS QUE TRÊS VEZES, ELE NÃO TEM ESTABILIDADE FAMILIAR, EU TENHO CONTRA ELE UMA OCORRÊNCIA E UM PROCESSO POR VIOLÊNCIA DOMÉSTICA E REALIZAMOS UM ACORDO DE CONCILIAÇÃO ONDE FICOU DITO E ESCRITO A QUANTIA, DATA DE PAGAMENTO E ONDE SERIA DEPOSITADO E ELE ESTÁ COM DUAS PENSÕES ATRASADAS.