Se for de busão, acho melhor de madrugada porque você dorme durante a viagem e

daí o tempo passa mais rápido.
Dirigir de madrugada só se a pessoa tiver dormido muito bem antes de sair e tenha consciência e cuidado de que muitos que estarão na estrada dirigindo não estarão bem descansados, daí a possibilidade de acidentes por dormir ao volante.