Isso inevitalmente vai contribuir pra diminuir as chances dele chegar em tu. Talvez seja por

falta de atitude da parte dele. Talvez por medo. Ou talvez pq ele te enxerga como uma mulher que ele não merece, por aparentar ser muito decente ou coisa do tipo, e por ele ser galinha - pelo menos foi o que eu entendi com base nos teus relatos -, ele pensa que não tem merecimento e que tu não ia querer e não chega. E o mais provável é que seja uma mistura de tudo.