Situation report active Rev. 2026.10 119 reports 239 source records updated
Real Life After AGI O informe de sobrevivência humana
PT

Estimativas de risco de IA e o desacordo entre especialistas

Como interpretar pesquisas, previsões, e estimativas de probabilidade sem fabricar consenso ou descartar a incerteza, com base em uma pesquisa com 2.778 pessoas.

Written by
Dwight Ringdahl
Status
Fontes verificadas
Revised
Sources
4 cited
Reading
7 min

Uma porcentagem é um julgamento, não uma medição

Quando um pesquisador diz que há 10% de chance de a IA avançada causar a extinção humana, o número não é uma frequência medida em histórias repetidas. É uma probabilidade subjetiva que resume crenças sobre capacidade, implantação, instituições, conflito, e muitas etapas incertas. Outro especialista pode usar “risco existencial” para incluir o desempoderamento humano permanente, enquanto uma manchete relata apenas a extinção.

Tais estimativas podem informar decisões, especialmente quando as consequências são enormes, mas não deveriam ser apresentadas como constantes científicas estabelecidas. Quem fala, a data, a pergunta exata, o horizonte de tempo, a definição de resultado, a evidência, e a incerteza — tudo isso importa. A estimativa pessoal de um cientista famoso continua sendo uma estimativa pessoal.

Defina o resultado antes de comparar números

Pelo menos quatro resultados são comumente misturados:

  • dano severo: grandes perdas de vidas, perda econômica, ou violações de direitos;
  • catástrofe global: dano afetando grande parte da humanidade, ou uma fração especificada de mortes;
  • extinção humana: nenhuma população humana sobrevivente;
  • catástrofe existencial: extinção ou destruição irreversível do potencial de longo prazo da humanidade, às vezes incluindo desempoderamento severo permanente.

As previsões podem perguntar se a IA causa o resultado, é uma contribuinte necessária, ou apenas aparece em algum ponto da cadeia. Elas podem cobrir dez anos, o ano 2100, ou todo o tempo futuro. Uma estimativa de um por cento em dez anos não pode ser comparada diretamente com uma estimativa de cinco por cento em um século.

As definições da tecnologia também variam: IA de propósito geral atual, “inteligência de máquina de alto nível”, AGI, superinteligência, ou qualquer IA futura. Sempre preserve a redação original.

O que a grande pesquisa com pesquisadores encontrou

A Pesquisa de Especialistas sobre o Progresso em IA de 2023 convidou autores de importantes veículos de IA e obteve respostas de 2.778 pesquisadores. Sua análise publicada encontrou amplo desacordo sobre cronogramas e impactos. A maioria dos respondentes esperava que resultados bons de uma IA sobre-humana fossem mais prováveis do que resultados ruins, ainda que muitos atribuíssem probabilidade não trivial a resultados extremamente ruins. O artigo também descobriu que as respostas mudavam com o enquadramento da pergunta (Grace et al., “Thousands of AI Authors on the Future of AI”).

Isso não sustenta “especialistas em IA concordam que a extinção é provável”. Sustenta uma alegação mais estreita: uma parcela substancial dos pesquisadores pesquisados considerou resultados extremos plausíveis o suficiente para atribuir probabilidade significativa, ao lado de otimismo e ampla dispersão. Para um olhar mais atento sobre por que as respostas específicas sobre extinção nesta e em outras pesquisas divergem tanto, veja por que as estimativas de especialistas sobre extinção divergem tanto.

As limitações da pesquisa incluem a não resposta, a expertise diferente em análise de risco, definições instáveis, e a dificuldade de traduzir preocupação intuitiva em probabilidades calibradas. Publicar em uma conferência de IA de ponta estabelece experiência técnica, não habilidade de previsão sobre geopolítica ou mudança social em escala de século. As respostas medianas também escondem a polarização e as correlações entre os respondentes.

Torneios de previsão revelam outro desacordo

O Existential Risk Persuasion Tournament reuniu 80 especialistas de domínio e 89 superprevisores com histórico em previsão de curto prazo. Os participantes estimaram riscos de IA, nucleares, biológicos, e outros sob definições comuns, trocaram argumentos, e atualizaram suas posições (Forecasting Research Institute XPT).

A análise resultante, revisada por pares, encontrou grandes diferenças entre especialistas de domínio e superprevisores, especialmente para IA (Karger et al., International Journal of Forecasting). Essa é uma evidência valiosa contra o falso consenso. Não prova que o grupo mais baixo ou o mais alto esteja correto.

Os superprevisores demonstraram calibração em muitas questões resolvíveis de horizonte mais curto. Questões de extinção em escala de século não podem ser pontuadas dentro da carreira dos participantes, e probabilidades raras abaixo de um por cento são particularmente difíceis de validar. Os especialistas de domínio podem entender melhor os mecanismos, mas podem ser selecionados para um campo por causa da preocupação, e podem carecer de calibração de previsão. Os grupos trazem forças e vieses diferentes.

Por que os especialistas discordam

Premissas de capacidade: os métodos atuais produzirão autonomia robusta, descoberta científica, e planejamento estratégico, ou a confiabilidade e a incorporação física continuarão difíceis?

Premissas de cronograma: o risco se acumula de forma diferente se a capacidade transformadora chegar em cinco anos ou em cinquenta. As instituições têm mais tempo para se adaptar sob um progresso mais lento, mas mais atores podem ganhar acesso.

Premissas de alinhamento: os pesquisadores discordam sobre se os sistemas avançados desenvolverão objetivos persistentes, se o treinamento atual conseguirá controlá-los, e o quanto a evidência precursora observável deveria mover as previsões.

Premissas de poder e implantação: um modelo capaz sem ferramentas ou autoridade é diferente de um agente amplamente implantado, controlando dinheiro, código, laboratórios, ou infraestrutura.

Premissas de governança: a competição, o conflito militar, a propriedade concentrada, a regulação, e a coordenação internacional podem dominar a incerteza técnica.

Definições morais: a perda permanente do controle humano pode contar como dano existencial para um previsor e não para outro.

Um número de manchete comprime todo esse modelo. Uma boa reportagem o expande de novo.

A calibração é difícil, mas não opcional

Um previsor calibrado que atribui 20% a muitos eventos deveria estar correto em cerca de um quinto das vezes. A calibração só pode ser medida através de um conjunto de questões comparáveis e resolvidas. Não podemos calibrar diretamente hoje uma previsão de extinção até 2100.

Os previsores ainda podem melhorar sua disciplina decompondo o caminho em questões mais próximas e observáveis: autonomia de modelo, automação de pesquisa, falhas de salvaguarda, escala de implantação, taxas de incidentes, e adoção de governança. Essas previsões podem se resolver mais cedo e revelar quais premissas estavam erradas.

Use taxas de base com cuidado. A humanidade não tem amostra histórica de transições para a AGI. Analogias com armas nucleares, pandemias, cibersegurança, acidentes industriais, ou adoção de software oferecem evidência parcial, não uma classe de referência direta. Modelos mecanicistas também correm o risco de compor probabilidades especulativas em etapas dependentes.

A síntese científica não atribui uma única probabilidade

O Relatório Internacional de Segurança em IA de 2026, escrito por meio de um processo internacional de especialistas, separa o uso malicioso documentado e as falhas de confiabilidade dos cenários hipotéticos de perda de controle. Ele afirma que os sistemas atuais carecem das capacidades necessárias para a perda de controle, que as habilidades relevantes estão melhorando, e que os especialistas discordam substancialmente sobre a probabilidade e a gravidade (Relatório Internacional de Segurança em IA de 2026).

Isso não é uma “probabilidade de consenso”. É um consenso de que a evidência contém riscos sérios e incerteza importante. A avaliação científica pode identificar mecanismos, observações, lacunas, e salvaguardas sem fingir conhecer uma única chance de catástrofe.

Como apresentar uma estimativa pública

Uma entrada responsável deveria se parecer com isto:

Em [data], [pessoa ou grupo] atribuiu [probabilidade ou faixa] a [resultado exato] até [tempo], sob [definição de tecnologia], com base em [principais razões]. Isso é [julgamento pessoal, agregado de pesquisa, ou previsão estruturada], não uma frequência observada.

Inclua a distribuição quando possível. Relate a taxa de resposta e a seleção de amostra para pesquisas. Distinga a média da mediana, e a probabilidade condicional da incondicional. Preserve as revisões para que as previsões possam ser avaliadas, em vez de silenciosamente sobrescritas.

Não faça a média de perguntas incompatíveis. Combinar a estimativa de “desempoderamento permanente” de uma pesquisa com a estimativa de “população abaixo de 1.000” de um torneio cria um número sem significado coerente.

Tomada de decisão sob desacordo

A política não exige certeza. Riscos de baixa probabilidade e alta consequência podem justificar pesquisa, monitoramento, resiliência, e salvaguardas reversíveis quando essas medidas têm benefícios em vários cenários. O custo e os efeitos colaterais da intervenção também importam. Uma precaução que entrincheira o monopólio, suprime a ciência legítima, ou aumenta a instabilidade geopolítica pode elevar outros riscos.

Medidas robustas incluem avaliações independentes, relato de incidentes, segurança de modelo, resposta a emergências, defesa biológica, cibersegurança, controle humano sobre o uso nuclear, e responsabilização clara. Elas continuam úteis em uma ampla faixa de probabilidade.

Diferentes tolerâncias a risco são questões políticas legítimas. Os especialistas podem informar a evidência, mas não podem, sozinhos, decidir como a sociedade equilibra inovação, liberdade, distribuição, segurança, e dano futuro incerto.

Atualizar em vez de defender uma tribo

As previsões deveriam mudar quando a evidência muda. Atualizações relevantes incluem autonomia sustentada em tarefas longas, avanços de pesquisa gerados por IA validados, falhas reais de salvaguarda, supervisão bem-sucedida, leis importantes, ou platôs persistentes de capacidade. Um previsor deveria declarar o que moveria a estimativa para cima ou para baixo.

A diversidade intelectual melhora a avaliação. Inclua céticos técnicos, pesquisadores de segurança, cientistas sociais, previsores, especialistas de domínio, comunidades afetadas, e formuladores de política. O desacordo deveria ser mapeado por premissas, não reduzido a “otimistas” e “catastrofistas”.

A conclusão prática

As estimativas de especialistas mostram que o risco catastrófico de IA é levado a sério por muitas pessoas qualificadas e posto em dúvida por outras. Elas não estabelecem uma probabilidade medida ou uma visão científica unânime. As pesquisas revelam crenças; os torneios impõem disciplina de previsão; a teoria explica caminhos; as avaliações testam componentes; a implantação fornece evidência do mundo real.

A posição pública mais honesta é a incerteza estruturada: defina o resultado, mostre a faixa, exponha as premissas, acompanhe a calibração onde possível, e escolha salvaguardas que continuem valendo a pena em vários futuros plausíveis.

Type to search the manual.

↑↓ navigate ↵ open esc close