Depende da situação.
Se ele não liga de você ir e está tudo bem pra ele,

você pode ir sem culpa.
Se ele deseja que você fique com ele, aí você escolhe o que quer e depois lide com a reação dele.
Se ele for um cara maduro o suficiente ele pode até no máximo ficar um pouco chateado mas vai ser uma coisa bem passageira que ele vai pormenorizar pelo bem do relacionamento e te perdoar de boa.
E também existe a possibilidade de quando ele diz que quer descansar, que ele queira um momento só dele, quietinho no canto, sem precisar dar atenção a ninguém por estar indisposto já que está gripado.