Uma lei de escala é uma relação empírica
Em aprendizado de máquina, uma lei de escala descreve como uma quantidade medida muda à medida que um insumo cresce. Para grandes modelos de linguagem, os pesquisadores descobriram que a perda de treinamento costuma melhorar de forma relativamente suave e previsível conforme o tamanho do modelo, os dados de treinamento, e a computação aumentam. O trabalho da OpenAI em 2020 relatou relações de lei de potência dentro das faixas testadas (Kaplan et al.). O estudo posterior “Chinchilla” da DeepMind mostrou que, sob um orçamento de computação fixo, muitos modelos haviam sido treinados com dados de menos, e que parâmetros e tokens de treinamento deveriam ser escalados juntos de forma mais equilibrada (Hoffmann et al.).
Esses resultados foram importantes porque tornaram execuções de treinamento caras mais previsíveis. Um laboratório podia rodar experimentos menores, estimar como a perda mudaria em escala maior, e alocar um orçamento entre dados, parâmetros e computação. Mas a lei descreve medições dentro de um regime observado. Não é uma garantia física de que toda capacidade vai melhorar indefinidamente, nem de que processadores gráficos suficientes produzem AGI automaticamente.
Computação é apenas um ingrediente
“Computação” geralmente significa o número de operações numéricas usadas no treinamento ou na inferência, mas mesmo esse atalho esconde diferenças importantes. Duas execuções de treinamento com as mesmas operações nominais podem produzir sistemas diferentes por causa da utilização do chip, da precisão numérica, da qualidade dos dados, da arquitetura, da otimização, e do software. Melhorias algorítmicas podem obter desempenho melhor a partir do mesmo hardware. Ajuste fino, recuperação de informação, ferramentas, memória, e andaime técnico de agente podem mudar substancialmente o comportamento implantado após o pré-treinamento.
Os dados importam tanto em quantidade quanto em composição. Exemplos duplicados, de baixa qualidade, ou contaminados não são equivalentes a informação cuidadosamente selecionada. Dados sintéticos podem estender ou direcionar um corpus, mas erros podem ser amplificados se a geração e a filtragem forem ruins. Direitos sobre dados, privacidade, cobertura de idiomas, e representatividade também influenciam o que um modelo aprende.
A computação em tempo de inferência acrescenta outra dimensão. Alguns sistemas gastam mais operações gerando e verificando candidatos intermediários para um prompt difícil. Isso pode melhorar o desempenho sem mudar o modelo pré-treinado, mas aumenta custo e latência e não garante correção. Uma discussão completa sobre escala agora precisa considerar, no mínimo, computação de treinamento, computação de inferência, dados, algoritmos, e o sistema ao redor.
Curvas de perda não são curvas de capacidade
A perda de treinamento mede o erro preditivo em média em conjuntos de dados enormes. Uma redução suave na perda pode acompanhar mudanças irregulares em tarefas voltadas para humanos. Um parâmetro de referência pode mostrar um limiar porque uma melhoria latente finalmente ultrapassa sua nota de corte, porque o modelo aprende várias subcapacidades necessárias, ou porque a forma de pontuação converte um progresso gradual em um resultado binário. Outras capacidades podem melhorar de forma suave, permanecer estáveis, ou regredir depois de ajuste de segurança ou mudanças no sistema.
Essa distinção evita dois erros opostos. O primeiro é presumir que uma curva de perda previsível torna todo comportamento futuro previsível. Não torna. O segundo é afirmar que todos os ganhos de capacidade são descontinuidades misteriosas. Muitos ganhos aparentemente abruptos em parâmetros de referência se tornam mais suaves quando os pesquisadores usam métricas contínuas ou testes mais informativos (Schaeffer, Miranda e Koyejo, 2023). Tanto a incerteza quanto a previsibilidade parcial podem ser verdadeiras ao mesmo tempo.
A escala também interage com o design da avaliação. Testes públicos podem saturar ou vazar para os dados de treinamento. Um modelo pode melhorar em fazer testes sem um ganho equivalente em confiabilidade no mundo real. Por outro lado, parâmetros de referência existentes podem deixar passar capacidades úteis. São necessárias múltiplas avaliações, tarefas privadas, revisão especializada humana, e evidências de implantação para interpretar o que a redução de perda de fato comprou.
Onde a tendência pode se curvar
A capacidade física não é ilimitada. O treinamento e o atendimento de fronteira dependem de chips avançados, memória de alta largura de banda, redes, eletricidade, resfriamento, terreno, construção, e cadeias de suprimento. A Agência Internacional de Energia espera que a demanda de eletricidade de data centers cresça substancialmente até 2030, ao mesmo tempo em que enfatiza a incerteza e a forte concentração geográfica (IEA, Energy and AI). Atrasos na rede elétrica local podem importar mesmo quando a energia global é suficiente.
Dados humanos de alta qualidade também são finitos, embora o efeito dessa restrição dependa de novas fontes de dados, treinamento multimodal, dados sintéticos, e uso mais eficiente dos corpora existentes. Limites econômicos podem chegar antes dos técnicos: um modelo maior precisa criar valor suficiente para justificar o treinamento, o atendimento, e os custos de oportunidade. Latência e largura de banda de memória podem restringir produtos mesmo quando as operações agregadas estão disponíveis.
Os retornos decrescentes estão embutidos na escala. Uma lei de potência pode continuar enquanto cada melhoria adicional exige um gasto muito maior. Isso não significa que o progresso para, mas muda a economia. Uma nova arquitetura ou algoritmo pode deslocar a curva, enquanto segurança, confiabilidade, ou corporificação física podem exigir avanços não capturados pela perda de previsão do próximo token. Ninguém consegue estabelecer, apenas a partir das leis de escala atuais, onde esses avanços vão ocorrer.
Por que a computação continua sendo uma alavanca de governança
Apesar dessas ressalvas, a computação avançada é incomumente física e concentrada. Chips de ponta são fabricados por meio de uma cadeia de suprimento global estreita, e os maiores clusters de treinamento exigem capital, energia, e rede visíveis. Os governos, portanto, usam controles de exportação de chips, exigências de relato, e regras de data center como proxies para a capacidade de fronteira. A computação pode ser mais fácil de monitorar do que algoritmos ou software copiado.
O proxy é imperfeito. Os limiares podem ficar obsoletos à medida que os algoritmos se tornam mais eficientes. O treinamento e a inferência distribuídos complicam a contabilidade. Uma regra de computação pode sobrecarregar pesquisa legítima, entrincheirar grandes empresas já estabelecidas, ou incentivar formas de driblá-la se for mal redigida. A computação de treinamento também deixa passar sistemas capazes montados por meio de ajuste fino, uso de ferramentas, ou muitas chamadas de inferência. Uma política eficaz deveria atualizar limiares, considerar a eficiência, proteger a privacidade, e concentrar obrigações no risco, em vez de tratar operações como dano em si.
A governança de computação é mais forte quando combinada com avaliação de capacidade. A computação pode identificar execuções que merecem escrutínio; as avaliações podem testar se um sistema resultante ultrapassa um limiar de capacidade perigosa; o monitoramento da implantação pode revelar uso indevido e falhas. Nenhuma métrica isolada deveria carregar toda a carga regulatória.
A escala não resolve as previsões de prazo para a AGI
O investimento rápido é evidência de que os desenvolvedores esperam retornos de sistemas maiores e mais eficientes. A escala histórica é evidência de que recursos adicionais frequentemente melhoraram o desempenho medido. Nenhuma das duas coisas comprova uma data para a AGI. As previsões precisam modelar hardware, energia, dados, algoritmos, inferência, confiabilidade, e a própria definição de AGI.
Afirmações de que “a escala parou” precisam especificar qual métrica e qual sistema. Afirmações de que “a escala é tudo o que se precisa” precisam mostrar que as lacunas restantes são redutíveis à mesma tendência. Entre esses dois slogans está a posição defensável: as leis de escala estão entre as regularidades empíricas mais úteis da IA moderna, mas preveem médias dentro de regimes melhor do que preveem consequências sociais qualitativas.
O que os leitores deveriam perguntar
Quando um novo modelo é atribuído à escala, pergunte qual recurso aumentou, em quanto, e contra qual referência de base. A comparação era ótima em termos de computação? Os dados ou os algoritmos mudaram? O ganho relatado é em perda de treinamento, em um parâmetro de referência, em trabalho especializado, ou em um resultado implantado? Como ficaram a confiabilidade e o custo? Os resultados são reproduzíveis de forma independente?
Essas perguntas preservam a lição real das leis de escala sem transformá-la em mitologia. Mais computação repetidamente permitiu modelos melhores. É um insumo industrial importante e um ponto prático de supervisão. Não é uma unidade universal de inteligência, uma garantia de comportamento seguro, ou uma contagem regressiva para a AGI.