Como lidar com amigo que cobra muito?

EU sou uma pessoa que não cobro muito de amizades, como por exemplo, se quiser me chamar para sair beleza, mas se não me chamar tudo bem. Gosto que as pessoa sejam livres e também não gosto de ser cobrada.
Hoje sai com um grupo de amigas e postei um vídeo no stories, um amigo meu( que acho ele carente) viu e mandou uma mensagem falando que com as minhas amiguinhas eu vou e quando ele me chama para sair eu não vou. Sendo que eu não fui só uma vez que foi no final do ano passado por motivos pessoais e no mês passado eu sai com o grupo o qual esse amigo faz parte. Mas uma coisa é fato, gosto mais dos rolês que esse grupo de amigas me chamam por estamos na mesma vibe, já o do grupo que esse amigo faz parte até vou, mas são passeio que não tenho muito interesse, pq ao meu ver são até um pouco infantil, pois já tenho 24 anos e eles ficam me chamando para ir em parque de diversão.
Preciso da ajuda de vcs, como lidar com esse amigo ? será que eu deveria falar a real? Não sei lidar com pessoa assim