Interessante essa colocação e pergunta sua porque ela casa exatamente com a pergunta feita por

mim há uns dias.

https://elaele.com.br/relacionamentos/80233-mulheres-costumam-dificultar-pouquinho-coisas-quando-cara-e-feinho.html

Mas, deixo em aberto a pergunta pra você. Se o cara te faz feliz e você se sente muito bem com ele, porque abrir mão apenas por ele ser desprovido de beleza?
Você já deixou claro que tem vergonha dele, mas o que você sente e o como ele te faz feliz já não seria uma razão mais que suficiente para calar a boca dos outros em relação a esse aspecto?

E outra coisa importante só para constar. Você não esta se apaixonando por ele, porque se realmente estivesse não deixaria um detalhe como esse interferir em ser feliz com esse cara. Passe a entender melhor o que você sente e traduzir de forma clara a quem tem que saber disso.