Ciúmes do passado é normal?

Estou em um relacionamento a mais de um ano, sou virgem e ele não, teve relações com a ex namorada. O fato é que tenho um bloqueio em relação a ter minha primeira vez com ele por conta disso, pois acho que não irá ser especial para ele como será para mim ou algo do tipo, tendo em vista que teve uma longa história com sua ex.
Já conversei com ele e o mesmo só disse que não pode mudar o passado e que não entende pq fico tão chateada com essa situação, ou até mesmo quando comenta algo de antigos relacionamentos.
Gostaria que me dessem dicas de como lidar com essa situação, pois está me consumindo demais toda essa situaçao.