O não você já tem. Chama ele para conversar e fala o que você está

sentindo, e que prefere que as coisas sejam colocadas a limpo do que ficar nessa indefinição que machuca você. Se a outra pessoa não tem responsabilidade emocional por algum motivo (mesmo que por insegurança dele), seja a responsável e chame para uma conversa. Se ele acabar se afastando depois disso, você já terá a resposta que procura.