Situation report active Rev. 2026.9 119 reports 239 source records updated
Real Life After AGI O informe de sobrevivência humana
PT

Como avaliar afirmações sobre a AGI

Uma escada de evidências para separar demonstrações, avaliações, dados de implantação, previsões, e argumentos teóricos de risco, mais um cartão de seis campos.

Written by
Dwight Ringdahl
Status
Fontes verificadas
Revised
Sources
4 cited
Reading
8 min

Comece pelo tipo de afirmação sendo feita

“A IA consegue fazer isso”, “a AGI vai chegar em breve”, e “este sistema poderia causar uma catástrofe” não são a mesma afirmação. Elas exigem evidências diferentes. Uma demonstração bem produzida pode estabelecer que um modelo teve sucesso uma vez sob condições favoráveis. Não estabelece confiabilidade, valor econômico, ou operação autônoma segura. Uma previsão expressa um julgamento sobre o futuro. Não é uma medição de uma capacidade presente.

Isso importa porque a AGI não tem nenhum teste universalmente aceito. As definições enfatizam combinações diferentes de amplitude, desempenho, autonomia, aprendizado, competência física, e impacto econômico. Em vez de perguntar se uma manchete prova a AGI, os leitores deveriam perguntar o que foi medido, sob quais condições, e o quanto a conclusão viaja além da evidência.

A escada abaixo não é um ranking rígido no qual todo item de um nível derrota tudo abaixo dele. Uma avaliação de laboratório reproduzível pode ser evidência mais forte para um mecanismo restrito do que dados ruidosos de implantação. Seu propósito é expor as etapas inferenciais que afirmações promocionais e alarmistas frequentemente escondem.

Nível um: anedota e demonstração selecionada

Anedotas revelam possibilidades e modos de falha. Uma gravação de tela de um agente construindo um aplicativo mostra que pelo menos uma execução produziu o resultado exibido, assumindo que a demonstração é autêntica. Uma alucinação surpreendente mostra que uma falha pode ocorrer. Nenhuma das duas nos diz com que frequência o comportamento aparece.

Pergunte se quem apresentou selecionou a melhor execução, editou pausas ou falhas, usou assistência humana oculta, ou escolheu uma tarefa familiar. Procure o prompt completo, as ferramentas, a versão do modelo, as configurações de amostragem, o número de tentativas, e os casos de falha. Sem isso, trate o resultado como uma pista que vale a pena investigar — não como uma taxa.

Demonstrações continuam sendo úteis. Novas habilidades frequentemente aparecem de forma confusa antes que exista uma medição formal. O erro é transformar “pode acontecer” em “geralmente acontece”, e depois em “vai transformar a economia”.

Nível dois: parâmetro de referência ou avaliação controlada

Uma avaliação define tarefas, condições, e uma regra de pontuação. Ela consegue comparar sistemas de forma mais sistemática do que uma anedota. Avaliações fortes usam tarefas reservadas, previnem contaminação, relatam incerteza, documentam o andaime técnico e a assistência humana, e testam modos de falha relevantes. A replicação independente aumenta a confiança.

Pontuações em parâmetros de referência ainda podem enganar. Os dados de treinamento podem conter perguntas semelhantes. As equipes podem otimizar para um teste público. Conhecimento de múltipla escolha não estabelece habilidade em um local de trabalho desconhecido. As médias escondem falhas catastróficas na cauda da distribuição. Um sistema que tem sucesso 90 por cento das vezes pode ser inutilizável em um fluxo de trabalho de 30 etapas porque os erros se acumulam.

O Relatório Internacional de Segurança em IA de 2026 usa o termo “lacuna de avaliação” para o problema de que testes controlados anteriores à implantação não preveem de forma confiável o desempenho no mundo real. Ele também descreve os perfis de capacidade atuais como “irregulares”: o desempenho varia substancialmente entre tarefas e contextos, e os sistemas podem falhar em trabalho aparentemente simples apesar de terem sucesso em avaliações difíceis. Essas são descobertas sobre os limites da medição, não prova de que todo parâmetro de referência é inútil. Um artigo confiável deveria relatar tanto a pontuação quanto o que o teste deixa de fora.

Nível três: estudos adversariais, causais, e de potencialização

Afirmações de risco precisam de mais do que um parâmetro de referência padrão. Equipes de red team buscam formas de induzir comportamento proibido ou perigoso. Experimentos causais mudam uma característica e testam se os resultados mudam. Estudos de potencialização (uplift) comparam o que as pessoas conseguem realizar com IA contra uma referência de base significativa, como a internet sozinha.

Esses estudos respondem a perguntas diferentes. Uma descoberta de red team mostra acessibilidade sob o ataque testado, não incidência em toda a população. Uma avaliação de capacidade pode mostrar que um modelo consegue produzir um plano nocivo sem mostrar que um agente real consegue executá-lo. Um estudo de potencialização pode ser mais relevante para o uso indevido, mas seus participantes, limite de tempo, referência de base, medida de resultado, e salvaguardas determinam o que ele significa.

Amostras pequenas produzem incerteza ampla. Participantes especialistas podem subestimar a potencialização de iniciantes, mas representar melhor atacantes sofisticados. Tarefas substitutas evitam criar dano real, mas podem omitir gargalos do mundo real. Os resultados envelhecem rapidamente à medida que os modelos e os controles mudam. Um bom relato nomeia esses limites em vez de comprimi-los em “a IA possibilita” ou “a IA não aumenta” o risco.

Nível quatro: evidência de campo e de implantação

Dados do mundo real podem revelar adoção, produtividade, incidentes, uso indevido, e adaptação organizacional. Experimentos de campo randomizados e quase-experimentos cuidadosamente projetados podem estimar efeitos causais. Bancos de dados de incidentes e dados de reclamações podem mostrar dano recorrente. Auditorias podem detectar disparidades que o laboratório de um desenvolvedor não testou.

A evidência de implantação também tem pontos cegos. As empresas observam mais do que divulgam. Os usuários escolhem se e como adotar uma ferramenta, o que torna comparações simples enviesadas. Incidentes relatados não são o mesmo que todos os incidentes. Um ganho de produtividade no atendimento ao cliente não se generaliza automaticamente para pesquisa, gestão, medicina, ou robótica.

Os leitores deveriam procurar a população, o ambiente, o grupo de comparação, o período de tempo, o resultado, e os conflitos de interesse. “Os trabalhadores concluíram mais tarefas” é diferente de “o negócio criou mais valor”, e ambos são diferentes de “o emprego caiu”. Evidências atuais sobre trabalho e IA generativa não deveriam ser rerrotuladas como evidência sobre uma AGI hipotética.

Nível cinco: extrapolação de tendência e previsão

As previsões combinam medições com suposições. Tendências de computação, progresso algorítmico, investimento, desempenho em parâmetros de referência, e confiabilidade de agentes podem informar uma previsão, mas nenhuma delas determina isoladamente uma data para a AGI. As restrições podem se aliviar, se impor, ou mudar. As definições podem se deslocar.

A pesquisa de horizonte de tempo da METR estima o tempo de conclusão, em especialista humano, de tarefas nas quais um agente testado é previsto ter sucesso com uma confiabilidade declarada, comumente 50 ou 80 por cento. Seu conjunto atual é composto principalmente por tarefas autocontidas e bem especificadas de engenharia de software, aprendizado de máquina, e cibersegurança, com regras de pontuação claras. A medida é evidência útil sobre uma configuração de agente definida e uma distribuição de tarefas. Não é o tempo em que a IA opera de forma autônoma, uma medida de todo trabalho economicamente valioso, ou um cronômetro contando regressivamente para a AGI. A METR também alerta que medições acima de 16 horas não são confiáveis com seu conjunto de tarefas atual.

Avalie uma previsão por sua definição operacional, data, probabilidade, modelo, taxa de base, e histórico de acertos. Uma previsão calibrada diz, em efeito, “resultados atribuídos a 30 por cento deveriam ocorrer cerca de 30 por cento das vezes”. Uma data confiante sem critérios de resolução não pode ser avaliada. Pesquisas com especialistas capturam crenças informadas, mas não convertem discordância em evidência experimental.

Cenários servem a outro propósito. Eles exploram caminhos condicionais: se capacidades, acesso, autonomia, e resposta institucional assumirem valores especificados, o que se segue? Um cenário pode expor vulnerabilidades sem ser o futuro mais provável. Rotule-o de acordo.

Nível seis: mecanismo e argumento teórico

Alguns riscos severos de AGI não podem ser demonstrados diretamente sem os sistemas relevantes — e não deveriam ser criados apenas para obter prova. Os pesquisadores, em vez disso, propõem mecanismos como manipulação de recompensa, busca instrumental de recursos, corridas competitivas, ou delegação gradual de autoridade. Modelos formais podem esclarecer se uma conclusão de fato decorre das premissas.

A questão central não é se o argumento soa vívido. É quais premissas têm sustentação empírica. O sistema tem um objetivo persistente? Consegue planejar ao longo do horizonte necessário? Tem acesso a ferramentas, dinheiro, infraestrutura, ou cópias de si mesmo? O monitoramento vai falhar? As instituições conseguem responder? Cada elo pode mudar a probabilidade de toda a cadeia.

A ausência de dados diretos de catástrofe não é evidência de risco zero. Nem um caminho logicamente possível estabelece uma probabilidade grande. Decisões sob incerteza deveriam considerar consequência, reversibilidade, tempo de aviso, e o custo e a eficácia das salvaguardas. Isso é um julgamento de gestão de risco, não uma descoberta de que a teoria se tornou observação.

Use um cartão de evidências para afirmações consequentes

Para qualquer afirmação importante, registre seis campos:

  1. Afirmação: a proposição restrita de fato asserida.
  2. Status: resultado observado, inferência, previsão, cenário, ou recomendação.
  3. Fonte: estudo primário, dado oficial, síntese, relatório de empresa, mídia, ou opinião.
  4. Escopo: modelo, versão, tarefa, população, jurisdição, e data.
  5. Incerteza: tamanho da amostra, intervalo de confiança, replicação, dados ausentes, e alternativas plausíveis.
  6. Gatilho de atualização: evidência que fortaleceria, enfraqueceria, ou aposentaria a afirmação.

O Generative AI Profile voluntário do NIST é um complemento intersetorial ao AI Risk Management Framework, não um teste ou certificação de AGI. Ele organiza ações sugeridas sob as funções Governar, Mapear, Medir, e Gerenciar do arcabouço, e trata a gestão de risco como uma atividade de ciclo de vida. A orientação de medição mais ampla do NIST AI RMF pede testes documentados, medidas de incerteza, medição relevante à implantação, monitoramento, e revisão independente onde ela consiga reduzir o viés interno. O modelo exato de documento importa menos do que tornar a cadeia de evidências auditável.

Combine a confiança com a evidência

Uma cobertura confiável sobre a AGI não exige uma falsa neutralidade. Alguns fatos estão bem estabelecidos: os modelos estão melhorando em muitas avaliações, danos reais já ocorrem, as capacidades continuam irregulares, e as instituições têm visibilidade incompleta. Outras proposições — datas para a AGI, decolagem descontínua, consciência digital, alinhamento estável, probabilidades de extinção — continuam profundamente disputadas.

A resposta disciplinada é a precisão. Diga “o estudo descobriu” ao descrever seu resultado, “os autores inferem” ao ir além dele, “os prognosticadores atribuem” ao relatar uma crença, e “este cenário assume” ao explorar um caminho. Então vincule a fonte próxima à afirmação.

Essa linguagem pode parecer menos dramática do que uma contagem regressiva ou uma declaração. Ela é mais útil. A humanidade tomará melhores decisões sobre IA avançada sabendo o que a evidência sustenta, onde ela para, e o que mudaria a avaliação.

Type to search the manual.

navigate open esc close