Depende do momento.

Se for em um momento de descontração, em que ambos estão conversando

alegremente e contando piadas, dai é positivo.

Agora, se for numa discussão ou momento sério, dai é uma grande ofensa, é como chamar você de ignorante, que não sabe nem o que fala.