Eu sou da opinião de que o homem, em algumas situações específicas, deve negar sim,

e não saindo "se esbaldando" por aí afora de qualquer jeito; eu mesmo já neguei pelo menos umas duas vezes porque eram pessoas que definitivamente não valiam a pena devido a uma série de motivos. Já no seu caso não tenho como avaliar melhor porque você não detalhou nada a respeito da relação que mantêm.