Maneiras de falar para a pessoa que não vai poder ir para o aniversário de forma que a pessoa não se chateie?

"Não vou ir pois não faço questão e não me importo o suficiente com você. Tenha um bom dia"

Ou então você pode fazer o óbvio e fingir que mandar o convite com 2 dias é um problema (como se voce fosse, se tivessem avisado antes)
E bota a culpa na pessoa e diz que tem compromisso.

E por que você não vai poder ir? Você quer mentir pra pessoa ou falar a verdade?

Abra a boca e fale, não tem erro.