Ele só está olhando o lado dele nisso, um casal é vida a dois, mesmo

quem não mora junto, mas deve considerar a outra parte também.
Pode ser bom falar como você se sente sobre isso com ele, ficar mais claro que é uma atitude desalinhada com um relacionamento, há pessoas que não percebem algumas coisas erradas que parecem claro que está errado.