Como você se sentiria usada se sabe exatamente o que está fazendo e ambos fazem a mesma coisa? Por acaso está usando o cara? Não. Basta usar a racionalidade que ficará bem.
Enquanto não achamos a pessoas ideal, temos que nos divertir, e aí que entra o sexo casual. Prazer foi feito pra ser sentido. Não tem por que se guardar ou não fazer sexo. Vc apenas desperdiça uma fração de sua vida sem usufruir do que existe de melhor e mais intenso nela. Agora se puder se dar ao luxo de optar por um relacionamento sério com uma única pessoa que te complete, melhor ainda.