Eu sempre digo às 6 da tarde, porque ainda está bem claro nesse horário. Soa até estranho falar às 6 da noite. Eu digo "á noite" quando já passa das 19:00. É mais uma convenção social mesmo, não há um padrão exato. Alguns consideram madrugada, o período que se estende das 00:00 às 4:00, outros consideram que antes das 6 da manhã, ainda é madrugada.
Na verdade, no dia a dia, tanto faz dizer 6 da tarde/noite. Na dúvida, ou quando for falar de forma formal, prefira dizer às 18:00 hrs, ao invés de falar 6 da tarde/noite.