Isso aconteceu com você alguma vez? Se isso acontece, muitas das vezes é porque você

e a pessoa não tem afinidade nenhuma, e isso não é nada bom. Te aconselho a tentar puxar assunto sobre coisas em comum que vcs dos gostar como por exemplo: músicas, filmes, comida ( se estiverem em um ambiente comendo algo)...
O melhor que vc faz é ser natural e ir puxando assuntos que tenha a ver com o ambiente que vcs estejam e tals.