Acho que ele não entendeu que no casal não é só ele e sim vocês

dois.
Converse com ele, fala pra ele que você não gostou, achou muito rude.
Agora se ele não melhorar [a mudança n vai vir do dia pra noite, vai ser gradual] pula fora dele, ou pede um tempo. Isso pode ser tornar abusivo lá frente.