É apenas desapego e controle. Você gostar ou não, tanto faz. E é uma bela forma de manter a harmonia. Ao mesmo tempo em que ele não precisa falar contigo, cê fica doidinha por ele.
Mulheres em geral são carentes de atenção. Se ele te nega isso, sua fome por ela aumentará.
Se fosse o contrário, ele te sufocando, você já o teria chutado.
Enfim, se te incomoda tanto, fale com ele sobre isso ou ignore também.