É possível um homem estar comigo mesmo gostando de outra que diz nunca ter sido importante?

Ele é um homem bom para mim... Mas antes me conhecer descobri que ele levava em casa uma menina para transar e não deu em nada. Nunca levei essa informação em consideração, porque eu penso que se ele gostasse dela não levaria só para transar..
Acho que me enganei, ele nunca foi de falar nada sobre o passado dele, só soube disso pela irmã dele e quando perguntei para ele, ele só me olhou e disse que isso não era relevante, que ela queria namorar mas ele não estava pronto, e depois ele nunca mais tocou ou me deixou falar dela!
Semana passava vi que ele seguiu uma mulher e fiquei encucada e não sou a maluca que persegue por seguidor. Mostrei para uma das irmãs e ela disse que é a tal menina de antes.... Queria estar errada e só paranoica mas sinto que isso não é só algo irrelevante para ele e tudo isso tem um ano pelo que a irmã contou ...
Se era só alguém que ele transava,sem relevância e que ele nunca quis namorar, por que ele não gosta de falar nada sobre ela?
Se eu pergunto de outras experiências ele fala pouco, mas fala. Inclusive ele já gostou de uma amiga minha e ele fala de boa dessa época!
Por que a menina irrelevante que só tinha sexo dele, ele se cala e fica saindo pra não ser conversado?
Eu estou angustiada, ainda estamos conversando e saindo sempre.... Visito a família dele também, ele não é do tipo que leva todo mundo em casa mas eu estou sentindo uma aflição muito grande. E quero sinceridade de vocês sobre como agir com isso