Minha sogra não gosta que meu namorado venha aqui em casa

Gente namoro há mais de 2 anos, e com o tempo meu namorado foi deixando de ir na minha casa e eu sempre o culpava. Depois ouvi pelo telefone minha sogra falando que não gostava de ficar sozinha no final de semana. Meu sogro viaja todo mês e só fica ela e meu namorado em casa, mas no final de semana combinamos de revezar, um final de semana ele vem e no outro eu vou. Porém, suspeito que ele tem parado de vir porque ela fica falando na cabeça dele. Moramos em cidades diferentes então é muito cansativo eu ir todo final de semana pra lá, porém quando eu não vou ele não vem, aí ficamos sem nos ver. Vamos morar juntos ano que vem, mas me incomoda ficar tendo que fazer o esforço de ver ele sozinha. O que eu faço?