Chamar outro homem de gay, pela aparência dele, é coisa de gay.
Se você julgou

ele não ser atraente o suficiente pras mulheres, você avaliou a aparência dele = gay.
Se você achou ele atraente, e por isso concluiu que ele é gay = gay.