Sera que é certo cortar a relação com o ficante?

Conheço um rapaz ja faz um tempinho, ele me paquerava qdo tava namorando ainda, depois q ele terminou, passou dois meses ele veio falar comigo, me deu uma carona da faculdade e nos beijamos, depois ocorreram encontros e sempre houve relações... A questão é que estou insegura com ele, ele é meio fechado, se solta as vezes e qdo estou na casa dele.
O problema é que ele ainda tem vinculo com a ex em redes sociais, vive curtindo algumas postagens e fotos, e ainda por cima ela é mto linda. Eu infelizmente me sinto inferior.
Ainda nao entendi o pq ele está comigo ele não tem nenhuma magoa dele e já confessou qdo eu perguntei, que ele não se dedicou mto no relacionamento e que eles terminaram por conflitos na familia dele e pelo relacionamento ja nao estava bem. Eu por minha insegurança e medo de me decepcionar novamente com outra pessoa, penso em cortar a relação com ele.
Sera bobeira da minha cabeça?