Não concordar com as relações homossexuais é tachado como homofobia por quê?

Ninguém tá deixando de usar drogas porque eu sou contra. As pessoas não tão deixando de se separar por que eu sou contra. Agora discordar de relações homossexuais é homofobia e isso faz com que essas pessoas apanhem de outras? Como assim?
Eu tenho medo de ser amigo de pessoas homossexuais por causa do meu posicionamento.