"Você se preocupa demais à toa". O que ele quis dizer com isso?

Hoje de manhã ele me criticou por uma coisa que ele não ta se agradando em mim e em seguida eu critiquei ele também pra ele saber que eu também tenho o que reclamar dele e falei que iria melhorar meu comportamento desagradável e e ele falou assim (relaxe, vc se preocupa demais a toa)