Como agir nessa situação?

Sou afim de um cara, mas nós nunca ficamos pq ele diz q não gosta de namoro a distância e prefere manter a amizade. Somos da mesma cidade, mas eu mudei há uns 5 anos pq passei em um concurso e agora consegui me transferir de volta. Eu conheci ele por meio de amigos em comum e, às vezes, qdo vou passar uns dias lá, saio com ele e os amigos. Existe entre nós um pacto não falado de não ficar com out...