Não tem diferença, é apenas um apego a semântica, a partir do momento que você

se relaciona com uma pessoa casada, você se torna amante, claro pode existir situações onde a amante não saiba que o homem é casado ou apenas um caso, porém ainda sim é amante.