Namorado com brincadeira pesada, o que pensam disso?

Meu namorado tem umas zueiras bem pesadas. As vezes eu o chamo de retardado brincando, ele vem e me diz vc me chamou de que? e levanta a mão pra mim como se fosse me bater, não sei se ele faz isso na brincadeira ou se levaria a sério, oq acham?