Difícil acertar, mas se não se referiam diretamente a você, podem ter dito algo em

relação a alguma pessoa do convívio deles que por ser insuportável, preferiam apenas ficar com o que vale à pena, no caso o dinheiro ou o trabalho. O "ideal" seria o ganho.