Depende da forma como foi colocada.

Do tipo "eu amo minha mulher/eu amo meu homem",

"minha mulher é muito linda/meu homem é muito lindo" e etc é como um apelido carinhoso, tranquilo usar.

Se for algo tipo "mulher minha não usa esse tipo de roupa", "não permito que minha mulher...", "ela é minha mulher então..." e etc já acho complicado pq ai já coloca a mulher como propriedade dele, sabe?