Há algumas coisas que não são do âmbito do casal, mas da esfera privada, pessoal.

Uma dessas coisas é seus relacionamentos anteriores, incluindo relações sexuais.
Então não é normal, e ele está estragando o relacionamento de vocês proposital ou inadvertidamente.
Dada a quantidade e a intensidade que ele está tendo esse comportamento, a maior chance é que seja proposital, afinal são sinais amplos de que ele não ama você, ama a ex. Ele deve preferir que você termine.