Eu não entendi muito o que você escreveu. Você gosta do cara, mas não quer

deixá-lo ir caso não o queira mais, é isso?

Não é normal, você tem que tentar entender o motivo desse sentimento ter surgido, não pode deixar assim, senão será ruim para você e para ele.