Eu diria que não tem problema porque não tenho intenção de namorar.
E acho que se um cara diz isso e a mulher tem intenção de namorar, se ele não quer deixa ele oras, cada um com seus critérios, só procurar outro que queira e pronto, não tem razão pra ficar fazendo novela por isso.
Se ele não respeita um gosto diferente, não queira imaginar o que pode acontecer num relacionamento. Melhor você não cogitar levar ele para um - se é que não foi uma brincadeira.