Converse com ele. Pontue com a maior precisão que você conseguir o que te incomoda.

Escute-o. Se não chegarem chegar em um consenso, acabe. Não é o fim do mundo: em qualquer cidade há pessoas interessantes e solteiras. Não tenha medo da solidão que o término pode ocasionar, não fique em um relacionamento por medo.