Quero terminar com meu "namorado" mas não posso

Vou dar uma breve resumida:
Eu conheci esse menino a uns 2 meses atrás, sempre apresentei para a minha família como amigo meu para poder ter mais liberdade com ele, e até aí, ok, ele sempre ia comigo e com minha família para qualquer lugar, porém, as coisas foram ficando mais sérias, e a mãe dele quis me conhecer, um dia ela veio na minha casa conversar com minha mãe e conhecer ela, e se referiu a mim como namorada do filho dela, e até então éramos só “amigos” para a minha família. E isso gerou uma cobrança gigante em cima de mim, queriam saber se eu estava namorando ou não, que era para eu me decidir, mas na real eu realmente não estou namorando, só ficando, e eu não gosto dele, não aguento mais ele, só que amanhã a mãe dele chamou toda a minha família para ir almoçar la na casa dele, e eu vou ter que ir, mas não quero.
Eu gosto muito da família dele, dos amigos dele e por isso fico com um pé atrás de parar de conversar com ele, e ainda ele gosta muito de mim, muito mesmo, e eu não sei o que fazer.
Obs: minha família ama ele
Oque fariam no meu lugar?