Isso acontece, provavelmente, pelas lembranças ruins que você tem dentro da casa. Assim seu cérebro

vai associar a casa à tudo de ruim que você pode imaginar, insegurança, ansiedade, tristeza etc... Se você for de maior, o ideal seria arrumar um jeito de cascar fora daí. Não sei sua relação com as pessoas que moram com você, mas pelo que você disse, eu duvido um pouco que conversa vá resolver, mas vale tentar também.