Vc precisa racionalizar seu sentimento e não botar a culpa nele, já q a culpa

é sua. Assim, dá pra viver.
Pode falar pra ele na hora mas avise que vc entende que é irracional e que está trabalhando nisso. Pode aproximar vcs.