Comportamento masculino - sentimento ou só atração física?

Olá, tenho 22 anos e comecei a sair com um colega da faculdade há alguns meses (ele tem 25). Conhecia ele há um ano, mas não conversava, só fazíamos a mesma disciplina juntos e na época eu namorava. Nós já fomos ao cinema 3x, já fui na casa dele algumas vezes também e também já saímos para comer fora.
Mas eu não sei o que passa na cabeça dele em relação a mim. Porque na aula ele parece uma pessoa diferente, age comigo da mesma forma de antes de começarmos a sair e faz brincadeiras com uma colega para incomodar ela (mas ele já fazia isso antes, já eram amigos). E comigo é tudo mais discreto, sei lá. Ele também não faz questão de responder mensagens rapidamente, é difícil ter uma conversa virtual em tempo real., além de só me convidar pra sair dias de semana. Já questionei ele sobre esse comportamento, perguntando se eu era apenas mais uma garota qualquer e tudo mais, e ele disse que não, pediu desculpas por eu me sentir assim. E que se fosse o caso ele não iria querer me ajudar nos trabalhos da faculdade e etc (mas isso não é justificativa, na minha opinião). Também me falou que não pensa muito onde as coisas vão levar porque costumava pensar nisso e nunca acontecia como ele imaginava. Sei que ele namorou durante 4 anos, mas ele parece meio receoso de falar sobre esse relacionamento que ele teve.
Eu realmente não sei o que pensar, porque acho que já me apeguei de certa forma, fico sempre pensando nele. :/
Mas tenho medo de fazer papel de trouxa e tudo ir pra vala.
Não sei se ele não quer só se divertir, se aproveitar de mim ou algo do tipo.
Porque normalmente quando conversamos algo em relação a nós, ele se refere sempre aos beijos e nosso contato corporal e coisas do tipo. Sinto falta de ouvir algum elogio referente a minha personalidade ou até características físicas que não tenham cunho sexual.
Não sei o que pensar a respeito disso, ainda mais porque eu só tinha "ficado" com duas pessoas antes dele, e eram ex-namorados.