Paixão tem a ver com sentimento, que é algo involuntário.
Sexo casual é uma escolha e

só envolve sexo (mas pode gerar sentimento, que é involuntário, principalmente em quer for mais emotivo).