Será que estou sendo egoísta de não querer sair assim?

Eu e meu namorado tínhamos marcado de ir em uma pizzaria no dia dos namorados, mas descobri que ele vai levar a avó dele, ela ficaria sozinha. Eu não me sinto a vontade com ela ainda, pedi que deixasse pra outra hora, mas ele está perguntando o motivo de eu não querer e não sei como falar isso