A autoridade formal pode sobreviver depois que o controle prático se foi
Um parlamento pode continuar eleito enquanto depende de sistemas que os legisladores não conseguem avaliar. Um ministro pode continuar legalmente responsável enquanto recebe recomendações que nenhum funcionário público consegue reproduzir. Um cidadão pode manter um direito formal de recurso enquanto enfrenta uma decisão automatizada cujos dados, modelo, contrato com o fornecedor e raciocínio são inacessíveis. Nada nesse quadro exige um golpe ou um governante-máquina consciente. A autoridade se torna cerimonial porque a capacidade prática de escolher de outro modo se corroeu.
Este é um risco de governança antes de ser um risco de AGI. Governos já usam algoritmos em benefícios sociais, tributação, policiamento, migração, educação, saúde e administração pública. Sistemas mais capazes poderiam melhorar a consistência, traduzir serviços, encontrar fraudes, resumir evidências e tornar a expertise acessível a agências pequenas. Também poderiam aprofundar a dependência e tornar as decisões públicas mais difíceis de contestar.
Instrumentos internacionais existentes fornecem um vocabulário inicial, mas sua força legal difere. A Convenção-Quadro sobre Inteligência Artificial do Conselho da Europa foi concebida como um tratado vinculante para as partes e coloca no centro os direitos humanos, a democracia e o Estado de Direito. Sua página oficial de status não listava data de entrada em vigor até 11 de setembro de 2026, portanto a assinatura não deve ser descrita como um Estado já legalmente vinculado (status CETS n.º 225). A Recomendação da UNESCO sobre a Ética da Inteligência Artificial é uma recomendação não vinculante que trata de supervisão, transparência, responsabilização e efeitos ambientais e sociais. Nenhum dos dois instrumentos resolve a governança pós-AGI. Ambos mostram que capacidade e eficiência não são os únicos valores públicos em jogo.
Agência significa poder mudar o resultado
A “supervisão humana” costuma ser tratada como um diagrama de escala de pessoal: colocar alguém em algum ponto depois do modelo, e a decisão vira humana. A supervisão real é um conjunto de capacidades.
O revisor precisa de tempo e informação suficientes para entender o caso. Precisa de treinamento para reconhecer as limitações do modelo. Precisa de autoridade legal e organizacional para rejeitar a recomendação. Uma escolha diferente não deve gerar punição apenas por se afastar de um escore automatizado. A instituição precisa manter registros que sustentem auditoria e recurso.
Quando essas condições estão ausentes, um clique humano é um ritual. A alta automação pode até piorar a revisão: à medida que as pessoas veem menos casos incomuns e praticam menos julgamento independente, sua expertise se deteriora. Quando o sistema finalmente falha fora de sua distribuição normal, o suposto supervisor pode ser quem está menos preparado para intervir.
O teste prático é contrafactual: uma pessoa qualificada consegue chegar a uma decisão diferente, explicar por quê, e fazer essa decisão prevalecer?
Quatro dependências que podem esvaziar o governo
Dependência de fornecedor
Uma agência pública pode não ter a equipe, o poder computacional, os direitos sobre dados ou as condições contratuais para operar sem um único provedor. A troca parece possível nos documentos de licitação, mas exigiria retreinar sistemas, migrar dados, reescrever fluxos de trabalho e aceitar uma longa interrupção de serviço. Isso dá a um fornecedor privado influência mesmo sem poder político explícito.
Os contratos deveriam, portanto, tratar de portabilidade, acesso a auditoria, divulgação de incidentes, subcontratados, retenção de dados, segurança, continuidade de serviço e assistência na saída antes que um sistema se torne essencial. A proposta inicial mais barata pode sair cara se comprar dependência permanente.
Dependência epistêmica
Uma instituição pode perder a capacidade de saber se um resultado é bom. Se a IA realiza a maior parte da análise, redação, simulação e verificação, a organização humana pode preservar a autoridade final de assinatura enquanto perde modelos independentes do mundo.
A redundância é necessária. As agências precisam de expertise interna, análises concorrentes para questões de alta consequência, registros de incerteza e canais protegidos para dissidência. Algumas funções deveriam ser periodicamente realizadas sem o sistema principal, não porque o trabalho manual seja sempre superior, mas porque um plano de contingência nunca testado não é um plano de contingência.
Dependência de infraestrutura
Serviços avançados dependem de eletricidade, redes, sistemas de identidade, infraestrutura de nuvem e modelos a montante. Uma interrupção ou disputa comercial pode se propagar por muitas funções públicas ao mesmo tempo. Concentrar várias agências em um único modelo ou nuvem pode criar falhas correlacionadas escondidas atrás de contratos separados.
Mapas de dependência deveriam identificar provedores compartilhados e pontos únicos de falha em todo o governo, não apenas dentro de um departamento. Exercícios de recuperação deveriam testar operação degradada, restauração de dados, priorização manual e comunicação pública.
Dependência de legitimidade
As pessoas aceitam decisões difíceis em parte porque entendem quem tem autoridade, quais regras se aplicam e como contestar erros. Um sistema estatisticamente preciso, mas indecifrável, ainda pode minar a legitimidade se os cidadãos o vivenciam como arbitrário.
A explicação por si só é insuficiente. Uma explicação gerada pode soar plausível sem revelar a base real de um resultado. A contestabilidade significativa exige a evidência relevante, a regra aplicável, a instituição responsável e o remédio disponível. Também exige um órgão humano capaz de mudar a decisão, e não apenas explicar por que o sistema a produziu.
A democracia precisa de capacidade técnica pública
Legislaturas, tribunais, reguladores, auditores, sindicatos e a sociedade civil precisam de expertise em avaliação, segurança, licitação, governança de dados e evidência sobre modelos. Corpos técnicos profissionais, laboratórios independentes, inspetorias-gerais, órgãos de normatização e processos adversariais podem fornecer essa profundidade.
O NIST AI Risk Management Framework oferece uma estrutura voluntária para governar, mapear, medir e gerenciar riscos de IA. Seu valor é procedimental: as organizações precisam identificar o contexto e as pessoas afetadas, em vez de tratar a acurácia em benchmarks como toda a avaliação de risco. Uma instituição pós-AGI precisaria de versões mais fortes e obrigatórias desses hábitos, combinadas com autorização democrática.
Eleições são necessárias, mas não suficientes
A IA transformadora poderia afetar a democracia por meio de persuasão, mídia sintética, vigilância, análise de políticas públicas, operações de campanha e controle da infraestrutura de informação. Focar apenas em imagens falsas ignora a questão mais ampla: quem escolhe os objetivos dos sistemas que medeiam a atenção política, e quais dados são usados para otimizar a influência?
A divulgação pode ajudar, mas rotular conteúdo como “gerado por IA” não estabelece se ele é verdadeiro ou manipulador. A proveniência pode mostrar partes do histórico de um arquivo sem provar suas afirmações. A resiliência política também precisa de proteção de privacidade, jornalismo independente, transparência de campanhas, responsabilização de plataformas, administração eleitoral segura e cidadãos capazes de verificar informações importantes por meio de canais confiáveis.
O uso governamental merece restrição especial. Um Estado com sistemas poderosos de previsão e persuasão poderia personalizar a comunicação pública de forma útil — ou tornar a dissidência mais fácil de identificar e o comportamento mais fácil de moldar. Proibições legais, mandados judiciais, minimização de dados, registros de auditoria e supervisão independente importam mais à medida que a capacidade analítica aumenta, não menos.
Preservar fontes plurais de poder
Nenhuma empresa isolada deveria ser a única fonte de análise pública, identidade, comunicação e infraestrutura administrativa. Nenhum governo central deveria ser a única instituição capaz de usar capacidade avançada. Nenhum sistema universal de pontuação deveria determinar o acesso a emprego, crédito, benefícios, fala e mobilidade.
O pluralismo cria atrito, e o atrito às vezes é protetor. Sistemas federativos, governos locais, tribunais, reguladores independentes, universidades, sindicatos, associações profissionais, comunidades técnicas abertas e a sociedade civil podem expor falhas que um sistema central único suprimiria ou não perceberia. Instituições concorrentes também dão às pessoas onde recorrer e se organizar.
Pluralismo não é o mesmo que proliferação descontrolada. Capacidades de alto risco podem exigir restrições de acesso enquanto a tomada de decisão permanece institucionalmente diversa. O problema de design é evitar tanto o monopólio privado quanto a centralização estatal total.
Decisões que deveriam continuar politicamente contestáveis
A IA pode informar decisões públicas sem definir o objetivo público. Questões como a forma de distribuir renda, quais riscos são aceitáveis, os direitos de quem têm prioridade, se usar a força, o que as crianças deveriam aprender e quanta vigilância é permissível não são problemas de otimização com funções-objetivo neutras. São escolhas políticas entre valores e pessoas.
Delegar a implementação também pode remodelar o objetivo. Um sistema de benefícios otimizado para reduzir o tempo de processamento pode desestimular solicitantes com casos complexos. Um sistema de policiamento otimizado para incidentes previstos pode amplificar padrões do histórico de aplicação da lei. Um sistema de saúde otimizado para custo medido pode subvalorizar resultados difíceis de registrar. O controle democrático exige revisar o que um sistema realmente recompensa, não apenas aprovar seu propósito declarado.
Proposta normativa: uma garantia mínima de agência
Para usos públicos consequentes, as pessoas deveriam poder identificar:
- que um sistema de IA influenciou materialmente a decisão;
- a instituição e o responsável oficial legalmente responsável;
- a regra vigente e a evidência utilizada;
- limitações importantes, incerteza e proveniência dos dados;
- um recurso humano tempestivo com poder de mudar o resultado;
- uma via acessível a um tribunal, regulador, ombudsman ou órgão eleito;
- um caminho não digital para pessoas que não podem usar o sistema com segurança.
Essas garantias não eliminarão erros ou desacordos políticos. Elas preservam a diferença entre administração e dominação: a pessoa afetada continua participante de um sistema de razões e remédios, não apenas um objeto sendo classificado.
A questão constitucional pós-AGI
A questão mais profunda não é se uma IA recebe um título governamental formal. É se os humanos e suas instituições mantêm a competência, a independência e a alavancagem para revisar sistemas consequentes. Se remover um modelo paralisasse a saúde, as finanças, as comunicações e o governo de uma só vez, a soberania legal ofereceria pouco conforto prático.
A sobrevivência democrática após a IA transformadora depende, portanto, de capacidade construída antes que a dependência se torne completa: expertise pública, infraestrutura interoperável, direitos exequíveis, instituições plurais, evidência independente, recursos significativos e formas testadas de operar quando recomendações automatizadas estão indisponíveis ou são rejeitadas. Essas não são medidas antitecnológicas. São a maquinaria que permite que uma sociedade use tecnologia poderosa sem abrir mão da capacidade de escolher seus próprios propósitos.