Se existe essa dicotomia a resposta é simples, embora raramente adotada porque é dolorosa. Dá pra quem tu quer dá, e encerra a relação com o outro. Não existe amor sincero se o teu desejo sexual chega ao ponto de desejar outro nesse nível. Desejar, fantasiar, até flertar, é algo que nós humanos nos permitimos. Mas se chega a virar um jogo de igual pra igual, significa que o parceiro desse lado aqui virou apenas um porto seguro, enquanto o outro lá é o que realmente te faz se sentir mulher/homem.
Talvez você seja poligâmica.
Nesse caso, tenha um relacionamento aberto ou um trisal. Porém, se uma das 3 partes não aceitar, você terá que escolher entre o amor e a atração. Neste caso, fica a seu critério definir o que é mais forte e importante na sua vida: o amor ou o desejo.
Fica uma vez com o que você tem atração, faça de tudo pra parecer um merda e pronto, volta pro qus você ama. Não sei se dá pra amar um e querer muito e impulsivamente o corpo do outro, mas sei lá, vá em frente.