É errado esse pensamento de "ah, mas se a pessoa não gostar de mim".
Faça a sua parte, se ele não quiser, bem, deixe ele pra lá e passe para o próximo. Não seja tão baixa autoestima a ponto de se importar com um forinha que leva de alguém. Quem tem autoestima não se importa com foras.
A certeza mesmo você só vai ter quando investir nele. Às vezes ele está com dúvidas, ou inseguro, enfim, analise a situação e se for o caso, se arrisque, não precisa ter orgulho, isso não serve pra nada.