Me desculpe se estiver parecendo cruel, mas vamos lidar com a lógica...

Ele não quer nada

com você alem da "ficada"... se ele te aceitar você pode estar queimando novos contatos ou talvez pela sua insistência ele já tenha em mente que você vai pegar no pé dele e atrapalhar outros esquemas.

Talvez ele tenha algumas outras ficantes na mesma situação, ou até mesmo uma namorada ou "ficante preferencial"... pode ser duro mas é uma possibilidade.

Se você se incomoda tanto da um corte nele e quando ele vier atras, se vier, fale que se você não serve nem para contatinho então não serve para ficar...

Relaxa, se valoriza e seja feliz.