Há vários fatores. Primeiramente, tudo depende do que o homem quer no momento. Por exemplo,

eu mesmo, estou buscando um relacionamento sério. Não quero curtir. Então, se uma menina sinaliza que não quer algo mais sério, já descarto. Agora, se ela tem as qualidades que busco numa mulher, se gosta de mim, se há compatibilidade de temperamentos e almeja as mesmas coisas que eu, automaticamente o interesse se instala e se mantém. No seu caso em específico, ele pode ser inseguro com o corpo dele mesmo. Isto é mais comum com homens do que se imagina, possivelmente ele acha que não vai conseguir namorar com você, que você deve ter outros caras mais interessantes para investir do que ele. Já aconteceu comigo, de eu não continuar investindo numa menina por achar que ela não iria corresponder. Também, na cabeça do homem, sempre fica aquela interrogação: será que ela tá só sendo simpática ou realmente há um interesse?

Eu só chego numa menina quando noto interesse explícito. Homem não é bom em ler nas entrelinhas. Aprendam isto, meninas! :)