"Se gostasse mesmo nem teria perguntado" é o caralho. Resposta clichê que não acrescenta nada.

Se te incomoda é exatamente pelo fato de que gosta dela. E por gostar dela, tem ciúmes do passado dela. O ciúme por si só já é meio irracional por natureza, mas ciúmes do passado talvez seja o mais sem sentido de todos, mas muita gente sente e você só vai aprender a ignora-lo com o tempo, isso se aprender (pesquise quantas pessoas aqui mesmo nesse site se incomodam com parceiros rodados, sejam homens ou mulheres). Se te incomoda tanto, termine. Se seu amor por ela for maior que o ciúme, continue. Você vai ter que pôr na balança com calma.