Você não pode fazer nada, ué. Se já entrou sabendo que não ia ter nada além de umas fodas ocasionais, então se contente com isso ou caia fora. Se ele foi cafajeste e te prometeu algo a mais, aí já são outros quinhentos, ou seja, motivo pra vocês terem uma conversa a respeito disso.
Antes de entrar em uma relação, seja ela casual ou não, a galerinha se esquece de deixar as coisas claras ou acha que seria muito idiota fazer isso, aí só dá nisso.