Provavelmente ele está fazendo as contas:
Mulher chata e briguenta x pouco sexo.
Na hora que ele descobrir que uma prostituta sai mais barato ele te larga.
Querer largar já é pensar longe demais para um frase tão curta. Mas sim, deve se preocupar, ele está verbalizando indiretamente de certa forma que não está contente com as brigas e o sexo está faltando no casamento