Sim, não apoiar a causa, mas respeitar a causa, não te faz um homofóbico. Agora,

se você não compactuar e ainda assim desrespeitar os homossexuais, aí sim, você seria taxado de homofóbico