Se tua visita for uma surpresa, se a quantidade de comida servida ou oferecida
não for

evidentemente grande, se vc for o único a comer muito, se o consumo
puder causar algum tipo de prejuízo, sim.
De resto e especialmente se lhe for oferecido de boa vontade, não é exatamente
falta de educação, só não é o mais apropriado.