Tem que avaliar direitinho o porque que ele está dando tanta atenção pro primo dele,

as vezes você pode até estar sendo carente ou insensível em excesso. O primo do cara acabou de sair da prisão, o cara pode inclusive estar tentando ser receptivo pra ajudar o primo dele a não voltar pro crime, por exemplo, e enquanto isso você tá aí avacalhando a relação. Aí não dá velho, sem condições.

Agora sobre ele não te deixar sair, isso daí já é coisa de relacionamento abusivo. Terminar por causa disso (Já que você não pode sair e ele pode), aí sim, perfeitamente válido. Agora se for pra tu terminar só porque o cara tá apoiando o primo dele, porra, aí é o auge do egoísmo.