Fez mal, ainda mais que você sabe que a esposa dele dele não gostou. Imagine

se fosse você como seu marido e ele insistir sem seguir uma mulher que te incomoda, e ela ainda aceitasse ... Você ficaria desanimada e irritada.

Claro que você não tem culpa, pois ele que o cônjuge dela, deveria estar respeitando ela e não seguindo uma mulher com a qual ela já demonstrou claro descontentamento. Porém, pense se fosse você no lugar dela, é uma questão de senso de empatia.