Fazendo um paralelo: você come um doce ou salgado que não gosta da cara? Você compraria um livro que você não conhece com uma capa feia? Você compra uma peça de roupa feia porque ela é bem feita? Não.
Aparência importa no primeiro momento, no entanto, precisa de algo a mais para manter o interesse. Em relação ao livro, eu geralmente leio a sinopse para saber se vale a pena ser lido. Se for interessante eu compro para ler, mesmo se a capa for feia.
Importa bastante sim, quem disser que não, estará na maioria dos casos sendo hipócrita, não conheço uma pessoa que consiga manter relacionamento romântico com outra se não existe ao menos um mínimo nível de atração física, isso só funcionaria bem no caso de dois sapiosexuais ou assexuais possivelmente também, fora isso, sempre acabou desgastando por conta da falta de tesão nos casos em que uma das partes forçou a tentativa.