Não vejo problema. Se for para uma brincadeira ou até eventualmente acho até bacana. Já

se for para uma festa formal fica estranho, beirando a infantilidade.

Homem só tem direito de ter no guarda-roupa ternos preto, cinza ou azul-marinho. Se a mulher chegar na festa de vestido amarelo e o sujeito estiver de terno amarelo vai ficar bastante ridículo.