As atitudes dele me incomodam eu faço alguma coisa?

vc deve ser direta e transparente

Sim

Bem o que ti pode fazer é perguntar o motivo dele estar respondendo de forma tão simples! Se ele der uma explicação plausível, td bem. Por mais que ñ seja algo que você goste, é um motivo plausivel.
Mas se for apenas para ele te afastar ou te deixar desconfortável, é melhor vc ir se afastando dele aos poucos.

Talvez é o jeito dele ou não tá interessado

É bom vc ser direta