Se a outra parte não estiver a fim, a conversa morre, você nota que ele não da continuidade, e então você se retira da conversa, simples, não precisa ter medo, não tem nada de errado.
Puxe assunto. Vais ver a forma como a pessoa te retorna. Só tente entender se a pessoa não é muito tímida, pois ela pode acabar responder de forma bem direta.