O que fazer para acabar com essa tensão na amizade?

Tive um mini rolo com um cara de outra cidade ano passado (só ficamos uma vez e não teve sexo). Passados vários meses retomei contato e desde janeiro conversamos amigavelmente. Ele está namorando faz um bom tempo já e eu também gosto de outro cara. Para mim as coisas já estão superadas (e eu falei isso para ele, já tivemos uma conversa sobre o que aconteceu entre a gente), mas vez ou outra me parece que ele tenta entrar no assunto sobre o que aconteceu entre nós e eu sempre desconverso. Na última conversa ele disse que tinha medo que eu guardasse mágoa dele e eu disse que não tinha e mudei de assunto. Quero ter a amizade, mas não vejo o que fazer para acabar com essa tensão do passado: é melhor continuar ignorando o assunto ou perguntar diretamente se ele quer conversar sobre isso?