Existem duas possíveis respostas: não(a) e sim(b):
a) histórias consistentes: segundo essa visão, para você conseguir

voltar no passado para tentar matar o seu irmão mais novo, você já teria que ter voltado no passado e fracassado em matar o seu irmão. É uma história consistente, não há um livre-arbítrio.
b) abordagem das histórias alternativas: segundo essa visão, ao ir para o passado, você cria outra linha do tempo, fazendo com que a sua anterior deixe de existir (Pelo menos para você). Nessa linha do tempo, um cara apareceu e matou um outro cara, que não só era muito parecido com o assassino como também compartilhava do mesmo DNA.

Fonte: Breves respostas para grandes perguntas, do Stephen Hawking. Capítulo 6: A VIAGEM NO TEMPO É POSSÍVEL?