Ele só aparece quando quer sexo

Fico com um cara que aparece uma vez na semana (dia de semana) e sempre de última hora ele me chama pra sair, vamos para o motel e ele me deixa em casa.
Acaba que quando eu vou falar com ele, ele me trata super bem, mas não se prolonga muito no assunto. Tenho certeza que ele fica com várias outras, em outras cidades inclusive (viaja muito).

Semana passada a gente saiu, e desde então ele não fala mais absolutamente nada comigo. Essa semana ele estava em São Paulo, eu mandei uma mensagem, ele respondeu, a gente conversou 3 minutos e não puxei mais assunto. O que me incomodou é que ele não comentou quando voltaria (n perguntei) e nem mostrou interesse em me ver.

Decidi que não vou mais me submeter a isso. Quero sexo casual, mas com um cara que pelo menos mostre que gosta de conversar comigo. Exclui o número dele, a questão é: quando ele aparecer eu falo o pq não quero mais, ou só vou recusando os convites até ele desistir?