Eu também tenho irmãos por parte de pai e mantenho eles afastados da minha vida.

Não acho que seja errado, muito pelo contrário, é melhor assim. Cheguei a conviver com um deles, mas como de esperado não deu certo e isso só gerou atrito na minha família. Fique sabendo que você não é obrigado a conviver e muito menos gostar deles, o que importa é haver respeito o resto é insignificante.