Trai a confiança do meu namorado e agora ele não para de jogar na minha cara

Eu entendo ele, mas eu nao aguento mais essa situação. Ele fica jogando na minha cara toda hora, me trata com frieza, etc.
É recente (sábado).

Devo me afastar? Tenho medo de me afastar e ele achar que estou conhecendo outros ou sei lá. O que eu faço?