Commencez par le type d’affirmation en jeu
« L’IA peut faire ceci », « l’AGI arrivera bientôt » et « ce système pourrait causer une catastrophe » ne sont pas la même affirmation. Elles exigent des preuves différentes. Une démonstration soignée peut établir qu’un modèle a réussi une fois dans des conditions favorables. Elle n’établit ni fiabilité, ni valeur économique, ni fonctionnement autonome sûr. Une prévision exprime un jugement sur l’avenir. Ce n’est pas la mesure d’une capacité présente.
Cela compte parce que l’AGI ne dispose d’aucun test universellement accepté. Les définitions mettent l’accent sur différentes combinaisons de largeur, de performance, d’autonomie, d’apprentissage, de compétence physique et d’impact économique. Plutôt que de se demander si un gros titre prouve l’AGI, les lecteurs devraient se demander ce qui a été mesuré, dans quelles conditions, et jusqu’où la conclusion voyage au-delà de la preuve elle-même.
L’échelle ci-dessous n’est pas un classement rigide où chaque élément d’un niveau l’emporte sur tout ce qui se trouve en dessous. Une évaluation de laboratoire reproductible peut constituer une preuve plus solide pour un mécanisme étroit que des données de déploiement bruitées. Son objectif est d’exposer les étapes inférentielles que les affirmations promotionnelles et alarmistes dissimulent souvent.
Niveau un : anecdote et démonstration sélectionnée
Les anecdotes révèlent des possibilités et des modes de défaillance. Un enregistrement d’écran montrant un agent construire une application prouve qu’au moins une exécution a produit le résultat affiché, en supposant que la démonstration est authentique. Une hallucination surprenante montre qu’une défaillance peut survenir. Ni l’une ni l’autre ne nous dit à quelle fréquence le comportement apparaît.
Demandez-vous si le présentateur a sélectionné la meilleure exécution, coupé des pauses ou des échecs, utilisé une assistance humaine cachée, ou choisi une tâche familière. Recherchez l’invite complète, les outils, la version du modèle, les réglages d’échantillonnage, le nombre de tentatives et les cas d’échec. Sans cela, traitez le résultat comme une piste qui mérite d’être approfondie — pas comme un taux.
Les démonstrations restent utiles. De nouvelles capacités apparaissent souvent sous une forme désordonnée avant qu’une mesure formelle n’existe. L’erreur consiste à transformer « peut arriver » en « arrive habituellement », puis en « transformera l’économie ».
Niveau deux : test de référence ou évaluation contrôlée
Une évaluation définit des tâches, des conditions et une règle de notation. Elle permet de comparer des systèmes de façon plus systématique qu’une anecdote. Les évaluations solides utilisent des tâches réservées, préviennent la contamination, rapportent l’incertitude, documentent l’échafaudage et l’assistance humaine, et testent les modes de défaillance pertinents. La réplication indépendante renforce la confiance.
Les scores des tests de référence peuvent néanmoins induire en erreur. Les données d’entraînement peuvent contenir des questions similaires. Les équipes peuvent optimiser pour un test public. Des connaissances à choix multiples n’établissent pas une compétence dans un lieu de travail inconnu. Les moyennes masquent des défaillances catastrophiques en queue de distribution. Un système qui réussit 90 pour cent du temps peut être inutilisable dans un flux de travail à 30 étapes parce que les erreurs se cumulent.
Le Rapport international sur la sécurité de l’IA 2026 utilise l’expression « écart d’évaluation » pour désigner le problème selon lequel les résultats de tests contrôlés avant déploiement ne prédisent pas de façon fiable la performance en conditions réelles. Il décrit aussi les profils de capacité actuels comme « irréguliers » : la performance varie substantiellement selon les tâches et les contextes, et les systèmes peuvent échouer sur un travail apparemment simple tout en réussissant des évaluations difficiles. Ce sont des constats sur les limites de la mesure, pas la preuve que tout test de référence serait inutile. Un article crédible devrait rapporter à la fois le score et ce que le test laisse de côté.
Niveau trois : études adversariales, causales et d’assistance (uplift)
Les affirmations de risque exigent davantage qu’un test de référence standard. Les équipes de red teaming recherchent des moyens de provoquer un comportement interdit ou dangereux. Les expériences causales modifient une caractéristique et vérifient si les résultats changent. Les études d’assistance (uplift) comparent ce que des personnes peuvent accomplir avec l’IA par rapport à une référence significative, comme internet seul.
Ces études répondent à des questions différentes. Un constat de red teaming montre l’accessibilité sous l’attaque testée, pas l’incidence à l’échelle d’une population. Une évaluation de capacité peut montrer qu’un modèle peut produire un plan nuisible sans montrer qu’un acteur réel peut l’exécuter. Une étude d’assistance peut être plus pertinente pour le détournement d’usage, mais ses participants, sa limite de temps, sa référence, sa mesure de résultat et ses garde-fous déterminent ce qu’elle signifie réellement.
Les petits échantillons produisent une large incertitude. Des participants experts peuvent sous-estimer l’assistance apportée à des novices mais mieux représenter des attaquants sophistiqués. Des tâches de substitution évitent de créer un préjudice réel mais peuvent omettre des goulots d’étranglement du monde réel. Les résultats vieillissent rapidement à mesure que les modèles et les contrôles évoluent. Un bon compte rendu nomme ces limites plutôt que de les comprimer en « l’IA permet » ou « l’IA n’augmente pas » le risque.
Niveau quatre : preuves de terrain et de déploiement
Les données du monde réel peuvent révéler l’adoption, la productivité, les incidents, les abus et l’adaptation organisationnelle. Des expériences de terrain randomisées et des quasi-expériences soigneusement conçues peuvent estimer des effets causaux. Les bases de données d’incidents et les données de plaintes peuvent montrer un préjudice récurrent. Des audits peuvent détecter des disparités que le laboratoire d’un développeur n’a pas testées.
Les preuves de déploiement ont elles aussi des angles morts. Les entreprises observent plus qu’elles ne divulguent. Les utilisateurs choisissent d’adopter ou non un outil et comment, ce qui biaise les comparaisons simples. Les incidents rapportés ne représentent pas tous les incidents. Un gain de productivité dans le service client ne se généralise pas automatiquement à la recherche, à la gestion, à la médecine ou à la robotique.
Les lecteurs devraient rechercher la population, le cadre, le groupe de comparaison, la période, le résultat mesuré et les conflits d’intérêts. « Les travailleurs ont accompli plus de tâches » diffère de « l’entreprise a créé plus de valeur », et les deux diffèrent de « l’emploi a baissé ». Les preuves actuelles sur le travail concernant l’IA générative ne devraient pas être requalifiées en preuves sur une AGI hypothétique.
Niveau cinq : extrapolation de tendances et prévision
Les prévisions combinent des mesures avec des hypothèses. Les tendances du calcul, le progrès algorithmique, l’investissement, la performance sur les tests de référence et la fiabilité des agents peuvent alimenter une prévision, mais aucun d’eux ne détermine à lui seul une date pour l’AGI. Les contraintes peuvent s’assouplir, se resserrer, ou évoluer. Les définitions peuvent bouger.
La recherche sur les horizons temporels de METR estime la durée de réalisation par un expert humain des tâches pour lesquelles un agent testé est prédit réussir avec une fiabilité déclarée, généralement 50 ou 80 pour cent. Son jeu de tâches actuel est composé principalement de tâches autonomes et bien spécifiées d’ingénierie logicielle, d’apprentissage automatique et de cybersécurité, avec des règles de notation claires. Cette mesure constitue une preuve utile sur une configuration d’agent et une distribution de tâches définies. Ce n’est ni le temps pendant lequel l’IA fonctionne de façon autonome, ni une mesure de tout le travail économiquement valorisable, ni un compte à rebours vers l’AGI. METR précise également que les mesures au-delà de 16 heures ne sont pas fiables avec son jeu de tâches actuel.
Évaluez une prévision par sa définition opérationnelle, sa date, sa probabilité, son modèle, son taux de base et son historique. Une prévision calibrée dit, en substance : « les résultats affectés d’une probabilité de 30 pour cent devraient se produire environ 30 pour cent du temps ». Une date affirmée avec assurance mais sans critère de résolution ne peut pas être évaluée. Les enquêtes d’experts captent des croyances informées mais ne convertissent pas le désaccord en preuve expérimentale.
Les scénarios servent un autre objectif. Ils explorent des trajectoires conditionnelles : si les capacités, l’accès, l’autonomie et la réponse institutionnelle prennent des valeurs spécifiées, que se passe-t-il ensuite ? Un scénario peut mettre en évidence des vulnérabilités sans être l’avenir le plus probable. Étiquetez-le en conséquence.
Niveau six : mécanisme et argument théorique
Certains risques graves liés à l’AGI ne peuvent pas être démontrés directement sans les systèmes concernés — et ne devraient pas être créés uniquement pour en obtenir la preuve. Les chercheurs proposent à la place des mécanismes tels que le piratage de la fonction de récompense, la recherche instrumentale de ressources, les courses concurrentielles, ou la délégation graduelle d’autorité. Des modèles formels peuvent clarifier si une conclusion découle bien de ses hypothèses.
La question centrale n’est pas de savoir si l’argument paraît saisissant. C’est de savoir quelles prémisses disposent d’un appui empirique. Le système a-t-il un objectif persistant ? Peut-il planifier sur l’horizon requis ? A-t-il accès à des outils, de l’argent, des infrastructures, ou des copies de lui-même ? La surveillance échouera-t-elle ? Les institutions peuvent-elles réagir ? Chaque maillon peut modifier la probabilité de toute la chaîne.
L’absence de données directes de catastrophe n’est pas la preuve d’un risque nul. Un chemin logiquement possible n’établit pas non plus une probabilité élevée. Les décisions sous incertitude devraient tenir compte de la conséquence, de la réversibilité, du délai d’alerte, et du coût et de l’efficacité des garde-fous. C’est un jugement de gestion du risque, pas la découverte que la théorie serait devenue observation.
Utilisez une fiche de preuve pour les affirmations lourdes de conséquences
Pour toute affirmation majeure, consignez six champs :
- Affirmation : la proposition précise réellement avancée.
- Statut : résultat observé, inférence, prévision, scénario, ou recommandation.
- Source : étude primaire, données officielles, synthèse, rapport d’entreprise, média, ou opinion.
- Portée : modèle, version, tâche, population, juridiction et date.
- Incertitude : taille de l’échantillon, intervalle de confiance, réplication, données manquantes, et alternatives plausibles.
- Déclencheur de mise à jour : les preuves qui renforceraient, affaibliraient, ou retireraient l’affirmation.
Le Profil d’IA générative volontaire du NIST est un complément transsectoriel au cadre de gestion des risques liés à l’IA, non un test ou une certification d’AGI. Il organise des actions suggérées sous les fonctions Gouverner, Cartographier, Mesurer et Gérer du cadre, et traite la gestion des risques comme une activité de cycle de vie. Les directives de mesure plus larges du cadre de gestion des risques IA du NIST appellent à des tests documentés, des mesures d’incertitude, une mesure pertinente pour le déploiement, une surveillance, et un examen indépendant lorsqu’il peut réduire le biais interne. Le modèle exact importe moins que le fait de rendre la chaîne de preuves auditable.
Ajustez la confiance aux preuves
Une couverture fiable de l’AGI n’exige pas une fausse neutralité. Certains faits sont bien établis : les modèles s’améliorent sur de nombreuses évaluations, des préjudices réels se produisent déjà, les capacités restent irrégulières, et les institutions n’ont qu’une visibilité incomplète. D’autres propositions — les dates de l’AGI, un décollage discontinu, la conscience numérique, un alignement stable, les probabilités d’extinction — demeurent profondément contestées.
La réponse disciplinée est la précision. Dites « l’étude a constaté » en décrivant son résultat, « les auteurs en déduisent » en allant au-delà, « les prévisionnistes estiment » en rapportant une croyance, et « ce scénario suppose » en explorant une trajectoire. Puis reliez la source à proximité immédiate de l’affirmation.
Ce langage peut sembler moins spectaculaire qu’un compte à rebours ou une déclaration tranchée. Il est plus utile. L’humanité prendra de meilleures décisions sur l’IA avancée en sachant ce que les preuves soutiennent, où elles s’arrêtent, et ce qui changerait l’évaluation.