Quero largar uma pessoa e não consigo! Não consigo magoá-lo e tenho medo de me arrepender depois.

A pouco tempo eu tava assim também, mas você tem que pensar por você.
A vida é feita de momentos, e se você ficar com essa pessoa estará se privando e privando ele a conhecer alguém legal. Seja sincera com ele, nada machuca que a desonestidade.
Em questão de se arrepender, você sempre tem que pebsar que jogou limpo com ele, e que o tempo de vocês passou..