Depende e muito.
Sexo casual tem várias configurações diferentes.
Entendo como casual sexo com alguém que

acabou de conhecer e depois não vão manter. Ou com alguém que conhece mas não é algo esporádico.
Se existe uma continuidade, é um relacionamento. Mesmo que não seja formal. Aí dentro da minha concepção, deixa de ser casual.