Eu nunca namorei.
Mas sobre o olhar, acredito que tenha algo em você que o atrai.
A

atração do homem não se torna exclusiva quando ele passa a namorar uma mulher, ele ainda tem capacidade de sentir atração por outras e, consequentemente, olhar pra elas.
O que faz diferença é o que ele faz com o olhar, os pensamentos (que você citou) e as atitudes dele.
Ele pode estar pensando apenas um "nossa, ela é bonita" ou coisas mais indecentes, não dá para adivinhar por aqui.
Se ele não fez nada com você, por hora, não há com o que se preocupar.