Isso não é algo que você diz, "ei eu só quero sexo casual"...
Você pode dizer que não que nada sério no momento, que isso não faz parte dos seus planos e que não é para ninguém criar expectativas, se ele falar "ok", vai lá e faz!
Acho precipitado sim. Você não precisa dizer isso já logo de cara! A não ser que o rapaz já tenha deixado claro que quer um relacionamento sério com você. Aí nesse caso, já seria bom você falar.