Depende do momento.
Se for em um momento de descontração, em que ambos estão conversando alegremente e contando piadas, dai é positivo.
Agora, se for numa discussão ou momento sério, dai é uma grande ofensa, é como chamar você de ignorante, que não sabe nem o que fala.