Homofobia, segundo o cunhador da expressão, é o ato de iniciar agressão direta contra indivíduos

homossexuais apenas ou principalmente por essa condição.

Nem mesmo apenas dizer que "não gosta de gays" é configurado como homofobia. Pode ser um preconceito idiota mas longe de se considerar crime. E se for crime, a falsa acusação disso (calúnia) também é.

Sendo assim, não sou homofóbico pois nunca iniciei agressão contra algum "não-hétero" pelo motivo dele não ser hetero. Não tenho razões para iniciar agressão contra ninguém.