Bem o que ti pode fazer é perguntar o motivo dele estar respondendo de forma

tão simples! Se ele der uma explicação plausível, td bem. Por mais que ñ seja algo que você goste, é um motivo plausivel.
Mas se for apenas para ele te afastar ou te deixar desconfortável, é melhor vc ir se afastando dele aos poucos.