Faz mal sim, independente do horário em que você acorde..
O sono da noite tem etapas

que precisam ser concluídas.
Uma vez ou outra obviamente não te fará mal, mas constantemente sim. Ainda tem as consequências, como estresse...
Durmo tarde todo dia, ainda mais usando esse site.. e eu mesma sinto que não me faz bem.