Matheus 5, 27-28:
27. Ouvistes que foi dito aos antigos: Não cometerás adultério.
28. Eu, porém, vos

digo, que qualquer que atentar numa mulher para a cobiçar, já em seu coração cometeu adultério com ela.

Esse trecho também serve pra mulher que cobiçar o homem de outra mulher.

Como você perguntou se é pecado, levei pro lado religioso da coisa, agora se você quer saber do ponto de vista meramente filosófico, na minha opinião não é errado não. É imoral e um pouco suspeito da sua parte, sim, mas errado seria só se você fosse atrás do cara pra ter algo com ele (Se desse encima dele etc.). Fora isso, você não está prejudicando nem fazendo mal a ninguém com a sua siririca. Se a sua preocupação não é religiosa, pode bater sem medo de ser feliz.