A musculatura pode ficar alterada, sim, mas não pelos motivos que você citou.
Sexo, na verdade,

é um exercício e tanto para a musculatura.

O que pode acontecer é dessa musculatura afrouxar devido à problemas no assoalho pélvico, idade, genética…