Vamos lá, se o "só para sexo" significar não ter relacionamento (sério), mas sim uma

amizade colorida ou algo assemelhado, não vejo problema nenhum. Se for para tratar a pessoa como um ser inanimado, acho errado :p