Não é questão de trocar, mas ter "variedade" e não falta de caráter.
O ser humano

é monogâmico por imposição religiosa e legal.
Aqui no ocidente, principalmente. No Oriente, contanto que o fulano as sustente, pode ter quantas quiser. Há situações opostas, em que a mulher pode ter um ou mais homens, contanto que ele dê conta de todas.
Pode ter desgaste na relação, inclusive com a(s) amante(s).