No fundo, vc sabe a resposta.
Casamento envolve mais do que somente uma rotina sexual,

portanto é claro que terminar ele só por esse motivo, considerando que vocês têm um tempo de vivência e você é uma mulher: acho pouco provável.
Se você quer de fato manter o seu casamento, vale saber quais são as causas do seu marido não ter tanto apetite sexual e conversarem sobre. Talvez uma terapia de casal a respeito.