Porque é exatamente o que você falou. Cada sexo tem prioridades diferentes.
O homem prioriza sexo

mais que a mulher, a mulher prioriza afeto mais do que o homem. Pra um homem, sexo sem afeto ainda é interessante, pra mulher não muito. Pro homem, relacionamento só compensa se o cara gostar muito da mulher mesmo, porque senão ele vai preferir continuar fazendo sexo com várias do que se limitar a uma só.
Por isso que a forma moderna de arranjo de casais é tão porcaria, por isso que aplicativos de encontro, que no começo funcionavam minimamente, se tornam mais porcaria a cada ano que passa. Por isso que a revolução sexual, que prometia ser maravilhosa pra mulheres, acabou não resolvendo nenhum problema pra mulher e criando novos problemas pra ela (e indiretamente criando outros problemas para homens), porque agora os homens se acostumaram com mulher que dá fácil e não se importam mais em encontrar um meio-termo que seja bom pra ambos os sexos, que é o casamento, a monogamia.