Se ele falou isso é provável que vc estar fazendo algo que estar desagradando ele, a boa notícia é que se ele reclamou ele gosta de vc caso contrário aproveitaria esse desagrado para sair da sua vida.
Agora cabe a vc avaliar e ver se vale a pena ou não mudar ou deixar de fazer o que desagrada ele.