Não, é apenas do cônjuge sobrevivente. Mesmo que ele falecesse, sua mãe teria direito apenas

à meação, que é o direito de viver na casa que foi do casal até o fim da vida dela mas nada disso implica em propriedade.
A casa pertence apenas aos filhos dele e, na ausência desses, aos pais dele.

No caso da sua mãe falecer antes, você não tem direito a nada. A casa é somente dele, já que não há ligação familiar de herança necessária entre ele e você, pois ele não é seu pai.

Já pode parar de crescer o olho no que não te pertence.