Sou errado em querer ter sido o filho único dos meus pais?

É óbvio que sim, pois significa que implicitamente vc também deseja que teu(s) irmão(s) nunca tivessem nascido e só é justificável pensar isso de alguém, principalmente de um parente próximo de verdade em casos absolutamente extremos que envolvam atitudes realmente imperdoáveis, como assassinato por exemplo.
Se o contexto da relação entre vc e teu(a) irmão(s) não se enquadra nisso, então vc está sendo um grande arrombado.