Isso serve para evitar que crackers invadam a sua conta por meio do seu próprio

computador ou de um dispositivo de alguém que você confia e passou a senha, veja, o Google não é vidente para saber se quem está acessando a sua conta é realmente a pessoa que você compartilhou a senha e também não sabe se você é realmente você, logo ele faz essa barreira para impedir que um cracker tente invadir pelo Pc dele, pelo seu Pc ou por um dispositivo externo que já tenha acessado a sua conta anteriormente.

Um exemplo simples, se um Cracker conseguir invadir o seu navegador seja por um Phishing via Email, ele em teoria consegue entrar na sua conta Google e fazer um estrago, mesmo que ele não tenha logado na sua conta Google (caso ela esteja logada) e se estiver deslogada, basta logar e fazer o estrago pelo seu próprio computador, você não receberia a notificação que reclamou na descrição da sua pergunta e só saberia que foi crackeada dias depois, além de não saber quem é o autor (Bingo, outro uso da notificação, identificar o possível autor pelo horário, local e dispositivo que foi usado para conectar a sua conta).