Existe uma diferença pequena, apesar de que ambos são a mesma coisa.
O Amor envolve

romantismo, paixão, carinho, sentimentos e depois conversas, lembranças, flashbacks, é ficar agarradinho.
Já o Sexo é selvagem, muitas vezes não rola nenhum sentimento, nem compromisso é só diversão. Como também pode rolar sentimentos de ambos, mas sem todo aquele romantismo, rola fantasias, fetiches e outras coisas.