"não gostar" eu acho uma palavra muito forte, talvez, "não fazer o tipo". Nesse caso, eu acho que um cara que está com você só pela aparência é a pior coisa, de longe.
Todo mundo envelhece, aparência é algo que não dura pra sempre, e uma hora a beleza vai embora, no momento que isso acontecer, ele vai te largar por uma mulher mais nova e mais """bela""".
Já no caso do cara que não curte tanto a sua aparência mas gosta do seu jeito, esse sim deve-se valorizar.
No caso do cara não gostar de ambos, qualquer escolha é uma merda mesmo.