Situation report active Rev. 2026.10 119 reports 239 source records updated
Real Life After AGI O informe de sobrevivência humana
PT

O debate sobre IA de código aberto: ferramenta ou risco de segurança

Examine os melhores argumentos de segurança, pesquisa, e concorrência a favor e contra liberar pesos de IA poderosos, incluindo um jailbreak de US$ 200.

Written by
Dwight Ringdahl
Status
Fontes verificadas
Revised
Sources
3 cited
Reading
6 min

Use termos precisos primeiro

“IA de código aberto” frequentemente descreve lançamentos muito diferentes entre si. Um desenvolvedor pode publicar os pesos de um modelo enquanto retém os dados de treinamento, o código de treinamento, os métodos de processamento de dados, os detalhes de avaliação, ou amplos direitos de modificar e redistribuir. As definições de software de código aberto não podem ser automaticamente mapeadas para um modelo treinado com proveniência de dados opaca.

Esta página, portanto, usa pesos abertos quando os parâmetros numéricos necessários para executar e modificar um modelo estão amplamente disponíveis. Um lançamento pode ter pesos abertos sob uma licença restritiva, ou fornecer código aberto sem pesos. Documentação e reprodutibilidade são dimensões separadas.

A terminologia importa porque os benefícios e riscos dependem do que é lançado. Pesquisadores não conseguem reproduzir o treinamento apenas a partir dos pesos, mas os pesos ainda podem permitir inferência local, ajuste fino, e análise interna que uma API impede.

O argumento a favor do acesso mais amplo

Pesos abertos reduzem a dependência de um pequeno conjunto de provedores hospedados. Desenvolvedores podem executar modelos em sua própria infraestrutura, proteger prompts sensíveis de um serviço terceirizado, adaptar sistemas a idiomas e domínios locais, e continuar operando se um fornecedor mudar preço ou política. A concorrência pode reduzir o custo e disseminar capacidade técnica.

Pesquisadores podem inspecionar ativações, testar edição de modelo, reproduzir avaliações, e investigar viés ou segurança sem esperar pela aprovação do provedor. A sociedade civil e as universidades podem escrutinar um modelo cujo desenvolvedor não concederia acesso privilegiado à API. A implantação local pode apoiar usos com restrição de privacidade e conectividade.

A abertura também pode preservar conhecimento. Um serviço fechado pode desaparecer; um lançamento de pesos pode ser arquivado e estudado. Comunidades podem construir recursos de acessibilidade e idioma que não são lucrativos para um grande fornecedor.

Esses benefícios não são automáticos. Executar um grande modelo ainda exige hardware e expertise. “Democratização” pode significar acesso para empresas bem financiadas em vez de pessoas comuns. Um provedor de pesos abertos pode se beneficiar comercialmente de contribuições do ecossistema, demanda de nuvem, ou definição de padrões. Esses incentivos deveriam ser divulgados sem descartar os benefícios públicos.

O argumento a favor do acesso controlado

Uma vez que os pesos estão amplamente espelhados, eles não podem ser recolhidos de forma confiável. Usuários podem remover o treinamento de recusa, ajustar finamente para abuso, esconder atividade de um monitor central, e implantar muitas cópias. Isso é demonstrado, não hipotético: pesquisadores desfizeram o treinamento de segurança do Llama 2-Chat 70B por menos de US$ 200 em uma única GPU usando uma técnica leve de ajuste fino (Lermen et al., 2023). Um provedor hospedado pode limitar taxa, monitorar padrões, corrigir comportamento, e encerrar contas; a operação local remove boa parte desse controle.

O risco marginal depende do que o modelo adiciona além de ferramentas existentes, APIs fechadas, conhecimento especializado, e modelos abertos anteriores. Se uma capacidade já está disponível de forma barata em outro lugar, restringir os pesos pode acrescentar pouca segurança. Se os pesos permitem exploração cibernética, assistência biológica, fraude, ou operação autônoma substancialmente mais eficazes, um lançamento irreversível pode importar muito.

A pergunta relevante não é se a informação pode algum dia ser usada indevidamente, mas se esse lançamento muda capacidade, escala, custo, atribuição, ou acesso para atores propensos a causar dano.

O que a revisão de evidências dos EUA concluiu

A National Telecommunications and Information Administration revisou 332 comentários públicos e evidências disponíveis em 2024. Ela concluiu que a evidência disponível na época era insuficiente para sustentar uma restrição categórica imediata à mais ampla disponibilidade dos pesos de modelo, ao mesmo tempo em que recomendou monitoramento ativo e capacidade governamental de resposta caso os riscos mudassem (NTIA, julho de 2024).

Essa conclusão é datada e condicional. Ela não prova que futuros lançamentos de fronteira são seguros nem que restrições nunca podem ser justificadas. A NTIA é uma agência governamental que equilibra inovação, concorrência, e segurança; muitas submissões vieram de empresas e defensores interessados. Seu relatório é uma síntese de política forte, não um experimento que demonstra o efeito social líquido.

A abordagem diferenciada da União Europeia

A Lei de IA da UE fornece algumas isenções para modelos de propósito geral livres e de código aberto qualificados de deveres de documentação específicos, mas não uma isenção geral. Provedores de modelos de propósito geral com risco sistêmico permanecem sujeitos a obrigações adicionais. Se um lançamento se qualifica depende de critérios legais, incluindo acesso e divulgação — não de linguagem de marketing (orientações da Comissão Europeia sobre GPAI, 2025).

Isso ilustra a governança escalonada por capacidade: incentivar a abertura onde os riscos marginais são administráveis, mantendo deveres para modelos de risco sistêmico. A fiscalização ainda enfrenta a dificuldade de avaliar a capacidade antes da publicação irreversível.

Alternativas a uma escolha binária

O acesso pode ser escalonado. Um desenvolvedor pode começar com avaliações internas e independentes, depois oferecer acesso controlado de pesquisa, um serviço hospedado, pesos para instituições qualificadas sob condições de segurança, e finalmente lançamento público se a evidência sustentar. Atrasos podem permitir que defensores corrijam vulnerabilidades e que reguladores se preparem.

O acesso estruturado pode preservar algum benefício de pesquisa limitando a proliferação, mas cria porteiros que podem excluir críticos ou concorrentes. Critérios de seleção, regras de conflito, recurso, direitos de publicação, e supervisão são necessários. Um programa de “pesquisador confiável” controlado unicamente pelo desenvolvedor do modelo não é transparência independente.

Outras opções incluem lançar modelos menores ou destilados, publicar código e avaliações detalhadas sem os pesos de fronteira, fornecer enclaves seguros para análise, ou usar licenças que proíbam certas condutas. Licenças influenciam usuários lícitos, mas são barreiras técnicas fracas contra atores maliciosos.

Como tomar uma decisão de lançamento

Uma avaliação séria de lançamento deveria comparar:

  • capacidades perigosas em relação a alternativas abertas e fechadas existentes;
  • computação e expertise necessárias para remover salvaguardas ou ajustar finamente;
  • benefícios que exigem exclusivamente os pesos, em vez de acesso por API;
  • segurança dos pesos não lançados e risco de roubo;
  • capacidade de monitorar o mau uso após o lançamento;
  • grupos afetados, incluindo pesquisadores fora de estados ricos;
  • reversibilidade e opções de acesso escalonado;
  • documentação do modelo, direitos de licença, e proveniência de dados.

As avaliações deveriam cobrir assistência cibernética, química e biológica, persuasão, replicação autônoma, privacidade, e discriminação ou fraude comuns quando relevante. Um limiar de parâmetro de referência não é suficiente se não representar fluxos de trabalho reais.

A segurança por obscuridade não é a única questão

Críticos de sistemas fechados observam que reter pesos pode esconder vulnerabilidades e concentrar confiança. Críticos da abertura observam que publicar uma capacidade relevante para armas não equivale a divulgar responsavelmente uma falha de software. Ambas as observações podem ser verdadeiras.

A divulgação responsável tipicamente dá tempo para que defensores afetados ajam. Para alguns modelos, o escrutínio amplo pode produzir mais defesa do que dano; para outros, o acesso disseminado pode criar um perigo irreversível antes que existam mitigações. A evidência sobre risco marginal e prontidão de resposta deveria determinar a sequência.

A AGI muda os riscos, mas não a necessidade de evidências

Nenhum modelo aberto foi estabelecido como AGI sob um teste consensual. Alegações sobre lançar pesos de AGI são análise de cenário. Se um modelo pudesse conduzir pesquisa de alto nível de forma autônoma, explorar sistemas, adquirir recursos, ou melhorar sucessores, copiá-lo poderia reduzir drasticamente a contenção. Por outro lado, colocar essa capacidade sob controle corporativo ou estatal exclusivo poderia criar uma concentração e um risco de abuso profundos.

É por isso que slogans falham. “Aberto é sempre mais seguro” ignora a irreversibilidade; “fechado é sempre mais seguro” ignora a concentração, o roubo, e a falta de escrutínio. A política futura deveria definir capacidade e condições de acesso, não regular uma categoria de marca.

Uma posição equilibrada

Para os modelos de menor risco atuais, a abertura pode entregar benefícios substanciais de concorrência, pesquisa, resiliência, privacidade, e inclusão. Para modelos cada vez mais capazes, o lançamento escalonado e a avaliação baseada em evidências se tornam mais importantes. As restrições deveriam demonstrar um risco marginal específico, oferecer devido processo, e ser revisitadas; as decisões de lançamento deveriam demonstrar por que o acesso irreversível se justifica.

O debate não é uma escolha entre liberdade e segurança. É um problema de design envolvendo capacidade, acesso, concentração, responsabilização, e reversibilidade. Terminologia precisa e evidência transparente tornam esse problema governável.

References

Summarized position

Simon Lermen undid Llama 2-Chat 70B’s safety training for under $200 using a single GPU.

Simon Lermen, Lead author, "LoRA Fine-tuning Efficiently Undoes Safety Training in Llama 2-Chat 70B"
arXiv, Primary source
  1. NTIA, julho de 2024 ntia.gov
  2. orientações da Comissão Europeia sobre GPAI, 2025 digital-strategy.ec.europa.eu

Type to search the manual.

↑↓ navigate ↵ open esc close