Sim e não. Quando acho um homem fofo, isso significa uma série de coisas, posso

estar me referindo à gentileza dele, ao carinho dispendido, à própria forma de expressão dele. Muitas coisas.
As vezes o cara é fofo e atraente para mim; as vezes é fofo, mas não desperta meu interesse amoroso/afetivo.