Devo tentar ou terminar de vez?

Bom eu conheci um cara e saímos algumas vezes, ele é bem querido a atencioso, porém ele é feio.
Eu até curto ele como pessoa, mas às vezes me sinto envergonhada pela aparência dele, e faz alguns dias ele me pediu em namoro.Nos conversamos e disse que estava muito rápido, ele disse que ia me conquistar,mas estou considerando me afastar dele aos pouco, por que não sinto atração por ele, apesar de gostar da companhia.E acredito que se continuar vou acabar magoado ele mais ainda, já que eu sei como é difícil levar um fora.
Enfim será que eu tento mais um pouco ver como me sinto em relação a ele, ou vou cortando aos poucos e me afastando?
Realmente não sei o que fazer e me sinto mt mal com isso.