O que esta página é, e não é
Esta página trata da evidência por trás dos números, não dos números em si. Você já viu as manchetes: um pesquisador sério diz que a probabilidade de extinção humana causada por IA é de cerca de 20%, outro diz que é efetivamente zero, e os dois citam expertise. Esta página explica de onde vêm essas estimativas, por que se espalham por duas ordens de grandeza, e — mais utilmente — o que um leitor cuidadoso deveria fazer com uma quantidade que ninguém consegue medir.
Os resultados de pesquisas e modelos discutidos aqui são publicações observadas. A interpretação do que sua discordância significa é análise. Para o argumento complementar de que esses números descrevem um tipo categoricamente diferente de resultado, veja extinção vs. eventos de vítimas em massa; o tratamento mais amplo das estimativas neste manual está em estimativas de risco e desacordo entre especialistas.
O que as pesquisas realmente dizem
A maior pesquisa relevante perguntou a milhares de pesquisadores de aprendizado de máquina — autores em grandes conferências de IA — suas probabilidades sobre o impacto de longo prazo da IA avançada. A onda de 2023 encontrou uma estimativa mediana de cerca de 5% para a extinção humana ou desempoderamento igualmente permanente e severo causado por avanços futuros de IA, com uma média próxima de 16% e um intervalo interquartil abrangendo aproximadamente de 0% a 19% (Grace et al., 2024). Leia essa distribuição, não apenas a mediana: uma média quatro vezes maior que a mediana significa uma longa cauda à direita, com uma minoria substancial de especialistas acima de 20% e alguns perto de 50%, enquanto outra minoria substancial fica essencialmente em zero.
O mesmo artigo documenta que o número se move com a redação. Quando a pergunta especificava extinção causada pela incapacidade humana de controlar a IA avançada, a mediana dobrou para cerca de 10%. Quando uma onda de 2022 perguntou sobre extinção por IA em geral, a mediana era 5%; as rodadas anteriores da pesquisa AI Impacts mostram a mesma sensibilidade ao enquadramento (Pesquisa de Especialistas sobre Progresso em IA de 2022). Uma quantidade que muda por um fator de dois quando a pergunta é reformulada está lhe dizendo algo sobre a incerteza dos respondentes — e, francamente, sobre a imprecisão do próprio conceito sendo medido. Nada disso torna as pesquisas inúteis. Torna-as matéria-prima, não veredictos.
Estimativas baseadas em modelo versus julgamentos intuitivos
Uma segunda família de estimativas não pergunta a intuição de ninguém; ela constrói um argumento explícito e atribui probabilidades a cada etapa. O exemplo mais rigoroso é a análise estruturada de Joseph Carlsmith sobre se a IA em busca de poder representa um risco existencial, que decompõe a alegação em seis conjunções — os sistemas se tornarão muito mais capazes, buscarão poder, os humanos não conseguirão corrigir isso, e assim por diante — e defende uma probabilidade para cada uma. Sua conclusão fica em torno de 10% para catástrofe causada por IA neste século, com margens de erro amplas que ele tem o cuidado de exibir (Carlsmith, 2022). Filósofos trabalhando na mesma tradição chegam a números diferentes ao contestar conjunções individuais: Toby Ord, em The Precipice (2020), argumenta por um risco existencial geral de IA desalinhada de aproximadamente um em seis neste século, impulsionado por uma leitura mais pessimista do problema do alinhamento.
Esses modelos compartilham uma virtude que as pesquisas não têm: toda etapa é visível e contestável. Compartilham dois vícios. Toda etapa também é contestável, motivo pelo qual leitores razoáveis invertem o sinal de conjunções individuais; e as probabilidades atribuídas a cada etapa ainda são, no fim das contas, julgamentos. Um julgamento intuitivo com um diagrama ainda é um julgamento intuitivo. O desacordo entre um modelo estruturado de 10% e uma intuição de 0,1% não é um conflito de medição. É um conflito sobre quais classes de referência e quais modos de falha merecem peso.
Por que as classes de referência puxam em direções diferentes
Sob toda estimativa há uma analogia, e as analogias genuinamente entram em conflito:
- Extinção biológica. Espécies se extinguem constantemente; a taxa de base é de aproximadamente uma a cinco espécies por ano em décadas recentes. Mas essas são espécies com populações pequenas e alcances estreitos. O análogo humano mais próximo, o gargalo da superrupção de Toba, é contestado e antecede a civilização por completo. Essa taxa de base puxa em direção a “extinção é um resultado normal”, ao mesmo tempo em que quase nada diz sobre uma espécie tecnológica global.
- Quase-acidentes nucleares. A Crise dos Mísseis de Cuba, o incidente de Stanislav Petrov em 1983, e o susto do foguete norueguês de 1995 mostram sistemas sob tensão máxima produzindo quase-falhas e depois não falhando. Os otimistas leem uma longa sequência de eventos salvos pela sorte; os pessimistas leem a mesma sequência como prova de que a sorte se esgota.
- Acidentes tecnológicos. Aviões comerciais, reatores e espaçonaves falham em taxas mensuráveis e depois se tornam mais seguros por meio de redesenho duramente aprendido. Os otimistas extrapolam o redesenho; os pessimistas notam que a aviação não precisou ter sucesso apenas uma vez.
Cada analogia é honesta. Cada uma codifica um prior, não um fato. As estimativas divergem porque os priors divergem, e os priors divergem porque não há evidência direta — nenhuma rodada completa do experimento — para disciplinar qualquer um deles.
O que o próprio desacordo lhe diz
Aqui está o ponto analítico que a maior parte da cobertura perde: a variância é o achado. Se a probabilidade de extinção fosse fácil de estimar, milhares de especialistas informados não produziriam estimativas de quase zero a quase cara-ou-coroa. A dispersão é evidência sobre o estado do conhecimento, da mesma forma que modelos meteorológicos amplamente divergentes são evidência de que a tempestade é genuinamente imprevisível, não de que a previsão média deve estar certa. Fazer a média dos especialistas em uma cifra intermediária arrumada — digamos, 5% — cria a sensação de precisão enquanto não herda nenhuma da informação. O Relatório Internacional de Segurança em IA de 2026, a tentativa de síntese mais abrangente até hoje, é franco ao dizer que a evidência de risco severo é escassa, contestada e concentrada em um punhado de laboratórios (Relatório Internacional de Segurança em IA de 2026).
Mais um fato que a distribuição codifica: o desacordo não é aleatório. Nas pesquisas, pesquisadores que esperam um progresso de capacidade mais rápido atribuem probabilidades de risco catastrófico mais altas, e pesquisadores em laboratórios de fronteira atribuem probabilidades mais baixas do que acadêmicos independentes. Parte disso é evidência sobre quem vê o quê. Parte é incentivo. Os leitores deveriam sustentar as duas explicações.
Como de fato usar esses números
A conclusão prática não é que os números são inúteis; é que precisam ser usados com a ferramenta certa. A contabilidade de valor esperado — multiplicar uma probabilidade precisa por um resultado e classificar os resultados — falha aqui, porque o insumo é um julgamento com largura de duas ordens de grandeza, e pequenos erros no insumo dominam silenciosamente o resultado. A tomada de decisão sob incerteza profunda funciona de outra forma: você pergunta quais ações continuam valendo a pena em toda a faixa plausível, e prefere ações que são robustas, em vez de ótimas.
Aplicada ao risco de extinção por IA, essa lógica é esclarecedora. O trabalho de prevenção — avaliações de capacidade, salvaguardas de implantação, governança de poder computacional — parece valer a pena a 20%, a 5%, e a 1%, porque o custo do trabalho é modesto e o resultado que ele protege é categoricamente diferente de qualquer coisa precificada na política comum. O descarte só é defensável perto de zero. Então as pesquisas, apesar de sua imprecisão, fazem um trabalho real: elas dizem que perto de zero é uma posição contestada, não um consenso. Para saber como as expectativas de prazo subjacentes impulsionam o desacordo, veja previsões de prazo. Você não precisa saber a probabilidade do incêndio para justificar comprar o extintor. Você precisa saber que pessoas sérias, olhando para a mesma evidência, continuam sentindo cheiro de fumaça.