Transei com o pastor da minha igreja, o que devo fazer?

Tenho medo de descobrirem e me julgarem ou até mesmo me expulsarem da igreja. Ele é casado e tem 3 filhos. A mulher dele está viajando, sou solteira