Pelo seu primeiro relato pareceu que ele quer sexo.

Porém o que te atrapalha é

falta de clareza. Você precisa definir o que quer e ter foco nisso. Se você quer algo sério e não sexo casual deve continuar agindo assim, sendo transparente e fazendo ele esperar o seu tempo. E de preferência que fique bem claro para ele se vai ser um tempo longo ou curto.

Você dá as cartas e pronto. O que vai acontecer depois do seu posicionamento não estará no seu controle. Ele pode se afastar ou não mas o importante é você agir de acordo com a sua vontade e com seu sentimento.

Seja ele ou outra pessoa se resolver se afastar encare como um livramento e que não era o melhor de Deus para sua vida. Simples assim, não sofra por ansiedade e preocupação!