Por que o cara que estava saindo ficou sem graça quando o vi em frente à casa da mãe dele?

Eu trabalhava no setor de fiscalização ambiental e tive que ir num endereço próximo à casa dele. Quando ele me viu, percebi que ficou meio sem graça.
Ele mora com a mãe, mesmo tendo mais de 30 anos, a casa é bem simples. Eu moro sozinha, tenho uma casa melhor.
Mas para mim não faz diferença, será que para ele faz?
Ele já me encontrou outras vezes quando eu tava trabalhando na rua, em outros locais na cidade, a reação dele foi bem diferente. Foi super extrovertido.