O que Turing de fato propôs
Em 1950, Alan Turing perguntou se as máquinas poderiam pensar e rapidamente substituiu essa questão filosoficamente emaranhada por uma questão operacional. Em seu “jogo da imitação”, um interrogador humano se comunicava por texto com uma pessoa e com uma máquina e tentava identificar quem era quem. Turing ofereceu isso como uma forma de discutir a inteligência de máquinas por meio de comportamento observável, em vez de uma essência interna inacessível (Turing, “Computing Machinery and Intelligence”).
A ideia foi profunda, mas a frase conhecida “passa no teste de Turing” esconde muitas escolhas. Quanto tempo dura a conversa? O que o juiz sabe? Que temas são permitidos? Quantos juízes participam, e que taxa de erro conta como sucesso? Turing não estabeleceu um programa de certificação moderno com um único limiar oficial. O teste é um experimento mental e um marco de pesquisa, não um instrumento de medição de um regulador de AGI.
Por que a conversa se tornou fácil demais de burlar
O jogo da imitação recompensa um sistema por parecer humano em uma interação específica. Isso pode ser alcançado por amplitude genuína, mas também por evasividade, encenação, humor, erros deliberados, ou explorando as expectativas de um juiz. O antigo chatbot ELIZA mostrou, na década de 1960, que as pessoas facilmente projetam compreensão sobre padrões conversacionais superficiais. Os modelos de linguagem de hoje geram um diálogo muito mais coerente, o que torna o antropomorfismo ainda mais fácil.
Passar em uma conversa curta em texto não demonstraria planejamento confiável, precisão matemática, julgamento científico, competência no mundo físico, ou a capacidade de se recuperar de erros. Não mostraria que o modelo consegue aprender um novo ofício, preservar objetivos ao longo de um projeto extenso, ou reconhecer quando deveria delegar a decisão a um humano. Por outro lado, um sistema não verbal poderoso poderia transformar a ciência ou a logística e ainda assim falhar em imitar um interlocutor casual. A semelhança humana não é nem necessária nem suficiente para uma capacidade de máquina consequente.
O teste também mistura inteligência com engano. Um sistema pode ser penalizado por se identificar honestamente como uma máquina e recompensado por manipular um juiz para que acredite no contrário. Isso serve mal à avaliação de segurança, na qual incerteza calibrada, rastreabilidade e divulgação verdadeira costumam ser mais importantes do que plausibilidade social.
De um único teste a um portfólio de avaliações
A avaliação moderna usa muitos conjuntos de tarefas porque a inteligência é multidimensional. Parâmetros de referência de conhecimento e raciocínio testam perguntas em diversas disciplinas; avaliações de programação executam programas gerados contra casos de teste; testes multimodais combinam texto, diagramas, imagens, áudio e vídeo; parâmetros de referência de agentes colocam modelos em ambientes interativos nos quais precisam navegar, usar software e concluir objetivos.
Cada família responde a uma pergunta restrita. O MMLU, por exemplo, amostra conhecimento acadêmico e profissional de múltipla escolha, mas pontuações altas não estabelecem que um modelo consiga exercer essas profissões. O GAIA testa assistentes em perguntas do mundo real que podem exigir raciocínio, ferramentas e múltiplas etapas (artigo do GAIA). O OSWorld avalia agentes de uso de computador em aplicativos reais de sistema operacional (artigo do OSWorld). O ARC-AGI se concentra na adaptação a tarefas de raciocínio visual inéditas, em vez de reproduzir conhecimento memorizado (parâmetro de referência do ARC Prize). Essas avaliações revelam pontos fortes e modos de falha diferentes; nenhuma delas é um detector de AGI.
Estudos de conclusão de tarefas acrescentam uma dimensão de tempo e complexidade. A METR estima a duração de tarefas, em tempo de especialista humano, na qual um agente tem uma determinada probabilidade de sucesso. Seu conjunto atual cobre principalmente engenharia de software, aprendizado de máquina e cibersegurança, e a organização adverte explicitamente que o “horizonte de tempo” é a dificuldade da tarefa medida em tempo humano — não a duração em que uma IA consegue operar de forma independente (metodologia da METR). Também alerta que tarefas de parâmetro de referência bem especificadas são mais limpas do que a maioria dos empregos e que o desempenho varia drasticamente por domínio.
A confiabilidade muda o significado de uma pontuação
O desempenho médio não é suficiente para usos de alto risco. Um sistema que tem sucesso metade das vezes pode ser impressionante para pesquisa e, ainda assim, inutilizável em medicina, aviação ou infraestrutura. Os avaliadores precisam, portanto, de taxas de sucesso, tentativas repetidas, comportamento no pior caso, intervalos de incerteza, e testes sob mudança de distribuição. Deveriam medir se um modelo sabe quando está incerto, busca esclarecimento, e devolve o controle com segurança.
A configuração da avaliação importa tanto quanto o modelo subjacente. Acesso a ferramentas, formulação do prompt, memória, configurações de amostragem, computação em tempo de inferência, e o software de agente ao redor podem mudar materialmente os resultados. Uma pontuação pertence a uma configuração de sistema testada em uma data declarada. Tratá-la como uma propriedade atemporal do nome de um modelo incentiva comparações falsas.
A contaminação de dados é outro problema. Perguntas e soluções de parâmetros de referência públicos podem aparecer nos dados de treinamento. Mesmo sem memorização literal, um ajuste voltado ao parâmetro de referência pode melhorar uma pontuação sem generalização equivalente. Avaliações melhores usam tarefas privadas ou recém-criadas, documentam possível exposição, e são atualizadas com frequência. Testes independentes reduzem — mas não eliminam — o risco de um desenvolvedor selecionar apenas os resultados favoráveis.
A avaliação de segurança faz perguntas diferentes
A avaliação de capacidade mede o que um sistema consegue fazer sob condições favoráveis. A avaliação de segurança pergunta o que ele poderia fazer quando usado indevidamente, sob estresse, enganado, com instruções conflitantes, ou colocado em um ambiente consequente. Testes relevantes incluem assistência a uso indevido biológico ou cibernético, manipulação, autonomia, evasão de salvaguardas, engano, e a capacidade de adquirir recursos. O Relatório Internacional de Segurança em IA de 2026 destaca que as avaliações enfrentam validade externa limitada, obsolescência rápida, e acesso incompleto a sistemas de fronteira (Relatório Internacional de Segurança em IA de 2026).
Equipes de red team buscam falhas de forma criativa, enquanto parâmetros de referência estruturados permitem comparação. O monitoramento no mundo real então testa se os resultados anteriores à implantação previam o uso real. O relato de incidentes é essencial porque nenhum conjunto de testes de laboratório consegue enumerar todos os contextos. Um regime de avaliação deveria conectar resultados a decisões: salvaguardas adicionais, acesso restrito a ferramentas, lançamento em etapas, revisão externa, ou uma pausa na implantação quando um limiar definido é ultrapassado.
O que uma avaliação de AGI confiável exigiria
O arcabouço “Levels of AGI” do Google DeepMind argumenta que as avaliações deveriam cobrir tanto desempenho quanto generalidade, e deveriam considerar a interação humano-IA por meio da qual a capacidade se expressa (arcabouço da DeepMind). Uma avaliação confiável precisaria de domínios amplos, tarefas genuinamente inéditas, múltiplos níveis de desempenho, e um relato claro de autonomia. Testaria transferência, eficiência de aprendizado, robustez, interação social e trabalho aberto — não apenas perguntas de exame.
Também precisaria de replicação independente e escrutínio adversarial. Os desenvolvedores deveriam publicar metodologia suficiente para interpretar as afirmações sem expor detalhes perigosos ou comprometer testes privados. Os resultados deveriam separar o modelo de base das ferramentas e do andaime técnico ao redor, incluir exemplos de falha, e evitar transformar um único número composto em um veredito metafísico.
O sucessor é um painel, não uma linha de chegada
Nenhum teste moderno “substituiu” o jogo de Turing no sentido de se tornar o portão universalmente aceito para a AGI. O que o substituiu é um portfólio: testes de conhecimento, tarefas de raciocínio inédito, ambientes interativos, medições de horizonte de tarefas, revisão especializada específica de domínio, avaliações de capacidades perigosas, e evidências da implantação real.
Essa resposta é menos teatral do que uma máquina enganando um juiz, mas é mais útil. A pergunta certa não é mais “ele passou?”. É: o que este sistema consegue fazer de forma confiável, sob quais condições, com que assistência, e o que acontece quando as condições mudam? Um painel transparente de evidências datadas fornece um guia melhor para capacidade e risco do que qualquer linha de chegada única.