Não é possível fazer nenhuma afirmação relevante, porque vai depender do contexto do seu relacionamento,

do nível de intimidade e da situação que gerou esse comentário. Pode ser desde um comentário inocente que era para soar como piada até um comentário mais irônico e sério que esconde um trauma do passado e demonstra o nascimento de uma rachadura na relação.