Estou errada por não querer morar com meu sogro? O que fariam no meu lugar?

Ele quer que eu vá morar com ele e com o pai dele, mas, sei lá... eu já falei que não queria morar com sogro. Tudo bem que ele diz que não liga, mas eu não me sentiria confortável. Ainda mais porque estou desempregada e procurando emprego. Acho que eu me sentiria um peso na casa. E fico pensando: será que, no final, ele não acabaria cobrando o fato de eu não estar trabalhando?