Se essas conversas são bem antes do seu relacionamento atual, acredito que, sentar e conversar

com calma, colocando todos os pontos e tentando achar uma solução agradável para os dois funcione. Não adianta dar uma resposta grotesca e piorar ainda mais a situação, agora se ele fizer isso, ignore-o e se afaste um pouco para tal repensar, será infantilidade dele. Paute que por mais que haja ciúmes, você não fez nada de errado se estava solteira na época, sugiro também se atentar a essas coisas e dizer que irá apagar. Não vale a pena brigarem se foi algo bem antes de estarem juntos.