sei lá cara, isso aí sempre da treta, ter caso e lance com amigos/parentes de

ex sempre vai gerar aquela suspeita que vocês estavam tendo algo na época que vocês ainda eram companheiros.
e geralmente quem sai perdendo nessa história é nem é quem é de fora, é quem é de dentro, no caso quem vai ficar queimado é o irmão do seu ex com a família dele.
bem, não é errado ou imoral nem nada do tipo da sua parte, mas acho que o irmão do seu ex está fazendo uma grande besteira tendo um caso com você.
relacionamento vai e vem, mas família é para sempre.