Ce que Turing a réellement proposé
En 1950, Alan Turing s’est demandé si les machines pouvaient penser, et a rapidement remplacé cette question philosophiquement embrouillée par une question opérationnelle. Dans son « jeu de l’imitation », un interrogateur humain communiquait par texte avec une personne et une machine et tentait d’identifier laquelle était laquelle. Turing proposait cela comme une façon de discuter de l’intelligence des machines à travers un comportement observable plutôt qu’à travers une essence intérieure inaccessible (Turing, « Computing Machinery and Intelligence »).
L’idée était profonde, mais l’expression courante « réussit le test de Turing » dissimule de nombreux choix. Combien de temps dure la conversation ? Que sait le juge ? Quels sujets sont autorisés ? Combien de juges participent, et quel taux d’erreur compte comme un succès ? Turing n’a pas établi un programme de certification moderne avec un seuil officiel unique. Le test est une expérience de pensée et un jalon de recherche, non l’instrument de mesure d’un régulateur de l’AGI.
Pourquoi la conversation est devenue trop facile à manipuler
Le jeu de l’imitation récompense un système pour paraître humain dans une interaction particulière. Cela peut s’obtenir par une largeur authentique, mais aussi par l’évasivité, le jeu de rôle, l’humour, des erreurs délibérées, ou en exploitant les attentes d’un juge. Le premier chatbot, ELIZA, a montré dans les années 1960 que les gens projettent volontiers de la compréhension sur des motifs conversationnels superficiels. Les modèles de langage actuels génèrent un dialogue bien plus cohérent, rendant l’anthropomorphisme encore plus facile.
Réussir une courte conversation textuelle ne démontrerait ni une planification fiable, ni une précision mathématique, ni un jugement scientifique, ni une compétence dans le monde physique, ni la capacité à se remettre d’erreurs. Cela ne montrerait pas que le modèle peut apprendre un nouveau métier, préserver des objectifs tout au long d’un long projet, ou reconnaître quand il devrait s’en remettre à un humain. À l’inverse, un système puissant mais non verbal pourrait transformer la science ou la logistique tout en échouant à imiter un interlocuteur informel. La ressemblance humaine n’est ni nécessaire ni suffisante pour une capacité de machine lourde de conséquences.
Le test mélange aussi intelligence et tromperie. Un système peut être pénalisé pour s’être honnêtement identifié comme une machine, et récompensé pour avoir manipulé un juge afin de lui faire croire le contraire. Cela convient mal à l’évaluation de sécurité, où l’incertitude calibrée, la traçabilité et la divulgation sincère comptent souvent plus que la plausibilité sociale.
D’un test unique à un portefeuille d’évaluation
L’évaluation moderne utilise de nombreux ensembles de tâches parce que l’intelligence est multidimensionnelle. Les tests de référence de connaissance et de raisonnement interrogent sur diverses matières ; les évaluations de programmation exécutent des programmes générés face à des cas de test ; les tests multimodaux combinent texte, diagrammes, images, audio et vidéo ; les tests de référence d’agents placent les modèles dans des environnements interactifs où ils doivent naviguer, utiliser des logiciels, et accomplir des objectifs.
Chaque famille répond à une question restreinte. MMLU, par exemple, échantillonne des connaissances académiques et professionnelles à choix multiples, mais des scores élevés n’établissent pas qu’un modèle puisse exercer ces professions. GAIA teste des assistants sur des questions du monde réel pouvant exiger raisonnement, outils et plusieurs étapes (article GAIA). OSWorld évalue des agents d’usage d’ordinateur à travers de véritables applications de système d’exploitation (article OSWorld). ARC-AGI se concentre sur l’adaptation à des tâches de raisonnement visuel inédites plutôt que sur la reproduction de connaissances stockées (test de référence ARC Prize). Ces évaluations révèlent des forces et des modes de défaillance différents ; aucune n’est un détecteur d’AGI.
Les études d’accomplissement de tâches ajoutent une dimension de temps et de complexité. METR estime la durée de tâche d’un expert humain pour laquelle un agent a une probabilité de succès donnée. Son jeu de tâches actuel couvre principalement l’ingénierie logicielle, l’apprentissage automatique et la cybersécurité, et l’organisation avertit explicitement que l’« horizon temporel » est la difficulté de la tâche mesurée en temps humain — non la durée pendant laquelle une IA peut fonctionner de façon indépendante (méthodologie de METR). Elle met aussi en garde sur le fait que des tâches de test de référence bien spécifiées sont plus propres que la plupart des emplois, et que la performance diffère nettement selon le domaine.
La fiabilité change le sens d’un score
La performance moyenne ne suffit pas pour un usage à fort enjeu. Un système qui réussit la moitié du temps peut être impressionnant pour la recherche mais inutilisable en médecine, en aviation, ou dans les infrastructures. Les évaluateurs ont donc besoin de taux de réussite, d’essais répétés, du comportement dans le pire des cas, d’intervalles d’incertitude, et de tests sous décalage de distribution. Ils devraient mesurer si un modèle sait quand il est incertain, cherche une clarification, et restitue le contrôle en toute sécurité.
La configuration de l’évaluation compte autant que le modèle sous-jacent. L’accès aux outils, la formulation de l’invite, la mémoire, les réglages d’échantillonnage, le calcul au moment de l’inférence, et le logiciel d’agent environnant peuvent modifier matériellement les résultats. Un score appartient à une configuration de système testée à une date donnée. Le traiter comme une propriété intemporelle du nom d’un modèle encourage de fausses comparaisons.
La contamination des données est un autre problème. Les questions et solutions de tests de référence publics peuvent apparaître dans les données d’entraînement. Même sans mémorisation textuelle, un réglage ciblé sur un test de référence peut améliorer un score sans généralisation équivalente. Les meilleures évaluations utilisent des tâches privées ou nouvellement créées, documentent une exposition possible, et se renouvellent fréquemment. Les tests indépendants réduisent — sans l’éliminer — le risque qu’un développeur ne sélectionne que les résultats favorables.
L’évaluation de sécurité pose des questions différentes
L’évaluation de capacité mesure ce qu’un système peut faire dans des conditions favorables. L’évaluation de sécurité demande ce qu’il pourrait faire en cas de détournement, de mise sous tension, de tromperie, d’instructions contradictoires, ou placé dans un environnement lourd de conséquences. Les tests pertinents incluent l’assistance à un détournement biologique ou cybernétique, la manipulation, l’autonomie, l’évasion des garde-fous, la tromperie, et la capacité à acquérir des ressources. Le Rapport international sur la sécurité de l’IA 2026 souligne que les évaluations souffrent d’une validité externe limitée, d’une obsolescence rapide, et d’un accès incomplet aux systèmes de pointe (Rapport international sur la sécurité de l’IA 2026).
Les équipes de red teaming recherchent des défaillances de façon créative, tandis que des tests de référence structurés permettent la comparaison. La surveillance en conditions réelles vérifie ensuite si les résultats antérieurs au déploiement ont prédit l’usage réel. Le signalement d’incidents est essentiel car aucune suite de laboratoire ne peut énumérer tous les contextes. Un régime d’évaluation devrait relier les résultats à des décisions : garde-fous supplémentaires, accès restreint aux outils, publication par étapes, examen externe, ou pause de déploiement lorsqu’un seuil défini est franchi.
Ce qu’exigerait une évaluation crédible de l’AGI
Le cadre « Levels of AGI » de Google DeepMind soutient que les évaluations devraient couvrir à la fois la performance et la généralité, et devraient tenir compte de l’interaction humain-IA à travers laquelle la capacité s’exprime (cadre de DeepMind). Une évaluation crédible nécessiterait des domaines larges, des tâches véritablement inédites, plusieurs niveaux de performance, et un compte rendu clair de l’autonomie. Elle testerait le transfert, l’efficacité d’apprentissage, la robustesse, l’interaction sociale, et le travail ouvert — pas seulement des questions d’examen.
Elle nécessiterait aussi une réplication indépendante et un examen adversarial. Les développeurs devraient publier suffisamment de méthodologie pour permettre d’interpréter les affirmations sans exposer de détails dangereux ni compromettre des tests privés. Les résultats devraient distinguer le modèle de base des outils et de l’échafaudage, inclure des exemples d’échec, et éviter de transformer un nombre composite en verdict métaphysique.
Le successeur est un tableau de bord, pas une ligne d’arrivée
Aucun test moderne n’a « remplacé » le jeu de Turing au sens où il serait devenu la porte universellement acceptée vers l’AGI. Ce qui l’a remplacé, c’est un portefeuille : des tests de connaissance, des tâches de raisonnement inédit, des environnements interactifs, des mesures d’horizon de tâches, un examen par des experts spécifiques à chaque domaine, des évaluations de capacité dangereuse, et des preuves issues du déploiement.
Cette réponse est moins théâtrale qu’une machine trompant un juge, mais elle est plus utile. La bonne question n’est plus « A-t-il réussi ? ». C’est : que ce système peut-il accomplir de façon fiable, dans quelles conditions, avec quelle assistance, et que se passe-t-il quand les conditions changent ? Un tableau de bord transparent de preuves datées offre un meilleur guide pour la capacité et le risque que n’importe quelle ligne d’arrivée unique.