Bom, é claro que temos que tomar cuidado com as palavras. Mas se você não tomou, eu continuaria falando com o ex na frente dele, pra esclarecer que não foi nada. Tentaria ter uma conversa franca. Bom, não há muito o que fazer.
Mostre as conversas pro seu namorado. Se vc não falou nada comprometedor nas conversas, elas podem te salvar. Uma vez, um "amigo" meu começou a dar em cima de mim enquanto eu tava namorando. Como não dei confiança, ele resolveu mandar uma mensagem pro rapaz que eu tava namorando na época. Ele disse na mensagem pro rapaz ter cuidado que eu poderia traí-lo.
Como eu nunca traí ninguém e vivia mandando o "amigo" se mancar, eu simplesmente mostrei todas as mensagens entre mim e esse "amigo" pro meu namorado da época. E rapinho ele sacou que eu não dava mole pro "amigo" e jamais trairia ele.