Un pourcentage est un jugement, pas une mesure
Quand un chercheur affirme qu’il y a 10 % de chances qu’une IA avancée cause l’extinction humaine, ce chiffre n’est pas une fréquence mesurée à travers des histoires répétées. C’est une probabilité subjective résumant des croyances sur la capacité, le déploiement, les institutions, le conflit, et de nombreuses étapes incertaines. Un autre expert peut utiliser « risque existentiel » pour y inclure la perte de pouvoir permanente, tandis qu’un titre de presse ne rapporte que l’extinction.
De telles estimations peuvent éclairer des décisions, en particulier quand les conséquences sont énormes, mais elles ne devraient pas être présentées comme des constantes scientifiques établies. Qui parle, la date, la question exacte, l’horizon temporel, la définition du résultat, les preuves, et l’incertitude comptent tous. L’estimation personnelle d’un scientifique célèbre reste une estimation personnelle.
Définir le résultat avant de comparer des chiffres
Au moins quatre résultats sont couramment mélangés :
- le préjudice grave : pertes humaines importantes, perte économique, ou violations de droits ;
- la catastrophe mondiale : préjudice affectant une grande partie de l’humanité ou une fraction précise de décès ;
- l’extinction humaine : aucune population humaine survivante ;
- la catastrophe existentielle : l’extinction ou la destruction irréversible du potentiel à long terme de l’humanité, incluant parfois une perte de pouvoir sévère et permanente.
Les prévisions peuvent se demander si l’IA cause le résultat, en est un contributeur nécessaire, ou apparaît simplement quelque part dans la chaîne. Elles peuvent couvrir dix ans, l’année 2100, ou tout le temps futur. Une estimation d’un pour cent sur dix ans ne peut pas être comparée directement à une estimation de cinq pour cent sur un siècle.
Les définitions de la technologie varient aussi : l’IA à usage général actuelle, l’« intelligence machine de haut niveau », l’AGI, la superintelligence, ou toute IA future. Préservez toujours la formulation d’origine.
Ce qu’a trouvé la grande enquête auprès des chercheurs
L’enquête d’experts de 2023 sur les progrès de l’IA (Expert Survey on Progress in AI) a invité des auteurs des principales conférences d’IA et a obtenu des réponses de 2 778 chercheurs. Son analyse publiée a trouvé un large désaccord sur les échéances et les impacts. La plupart des répondants s’attendaient à ce que les bons résultats d’une IA surhumaine soient plus probables que les mauvais, pourtant beaucoup ont attribué une probabilité non négligeable à des résultats extrêmement mauvais. L’article a aussi trouvé que les réponses changeaient selon le cadrage de la question (Grace et al., « Thousands of AI Authors on the Future of AI »).
Cela n’appuie pas l’idée que « les experts de l’IA s’accordent sur la probabilité de l’extinction ». Cela appuie une affirmation plus étroite : une part substantielle des chercheurs interrogés a jugé les résultats extrêmes assez plausibles pour leur attribuer une probabilité significative, aux côtés d’un optimisme et d’une large dispersion. Pour un examen plus approfondi des raisons pour lesquelles les réponses spécifiques à l’extinction, dans cette enquête et d’autres, divergent autant, voir pourquoi les estimations d’extinction des experts divergent autant.
Les limites de l’enquête incluent la non-réponse, une expertise inégale en analyse de risque, des définitions instables, et la difficulté de traduire une inquiétude intuitive en probabilités calibrées. Publier dans une conférence d’IA de premier plan établit une expérience technique, pas une compétence de prévision sur la géopolitique ou le changement social à l’échelle du siècle. Les réponses médianes dissimulent aussi la polarisation et les corrélations entre répondants.
Les tournois de prévision révèlent un autre désaccord
Le Tournoi de persuasion sur le risque existentiel (Existential Risk Persuasion Tournament) a réuni 80 experts thématiques et 89 super-prévisionnistes ayant un historique de prévisions à plus court terme. Les participants ont estimé les risques liés à l’IA, au nucléaire, au biologique, et à d’autres domaines sous des définitions communes, ont échangé des arguments, et ont mis à jour leurs estimations (XPT du Forecasting Research Institute).
L’analyse résultante, évaluée par des pairs, a trouvé de grandes différences entre experts de domaine et super-prévisionnistes, en particulier pour l’IA (Karger et al., International Journal of Forecasting). C’est une preuve précieuse contre le faux consensus. Cela ne prouve pas que le groupe le plus bas ou le plus haut ait raison.
Les super-prévisionnistes ont démontré une bonne calibration sur de nombreuses questions résolubles à horizon plus court. Les questions d’extinction à l’échelle du siècle ne peuvent pas être notées durant la carrière des participants, et les probabilités rares en dessous d’un pour cent sont particulièrement difficiles à valider. Les experts de domaine comprennent peut-être mieux les mécanismes mais peuvent avoir été attirés vers ce champ par inquiétude et manquer de calibration en prévision. Les deux groupes apportent des forces et des biais différents.
Pourquoi les experts sont en désaccord
Hypothèses de capacité : les méthodes actuelles produiront-elles une autonomie robuste, une découverte scientifique, et une planification stratégique, ou la fiabilité et l’incarnation physique resteront-elles difficiles ?
Hypothèses de calendrier : le risque s’accumule différemment si une capacité transformatrice arrive dans cinq ans plutôt que dans cinquante. Les institutions ont plus de temps pour s’adapter sous un progrès plus lent, mais davantage d’acteurs peuvent y avoir accès.
Hypothèses d’alignement : les chercheurs sont en désaccord sur la question de savoir si des systèmes avancés développeront des objectifs persistants, si l’entraînement actuel les contrôlera, et sur la part de preuve précurseur observable qui devrait influencer les prévisions.
Hypothèses de pouvoir et de déploiement : un modèle capable sans outils ni autorité diffère d’un agent largement déployé contrôlant de l’argent, du code, des laboratoires, ou des infrastructures.
Hypothèses de gouvernance : la concurrence, le conflit militaire, la propriété concentrée, la régulation, et la coordination internationale peuvent dominer l’incertitude technique.
Définitions morales : la perte permanente du contrôle humain peut compter comme un préjudice existentiel pour un prévisionniste et pas pour un autre.
Un chiffre de titre comprime tout ce modèle. Un bon reportage le développe à nouveau.
La calibration est difficile mais pas facultative
Un prévisionniste calibré qui attribue 20 % à de nombreux événements devrait avoir raison environ une fois sur cinq. La calibration ne peut être mesurée qu’à travers un ensemble de questions comparables et résolues. Nous ne pouvons pas calibrer directement aujourd’hui une prévision d’extinction pour 2100.
Les prévisionnistes peuvent tout de même améliorer leur discipline en décomposant la trajectoire en questions plus proches et observables : autonomie du modèle, automatisation de la recherche, défaillances des garde-fous, échelle de déploiement, taux d’incidents, et adoption de la gouvernance. Ces prévisions peuvent se résoudre plus tôt et révéler quelles hypothèses étaient erronées.
Utilisez les taux de base avec prudence. L’humanité ne dispose d’aucun échantillon historique de transitions vers l’AGI. Les analogies avec les armes nucléaires, les pandémies, la cybersécurité, les accidents industriels, ou l’adoption de logiciels offrent des preuves partielles, pas une classe de référence directe. Les modèles mécanistes risquent aussi de composer des probabilités spéculatives à travers des étapes dépendantes.
La synthèse scientifique n’attribue pas une seule probabilité
Le Rapport international sur la sécurité de l’IA de 2026, rédigé par un processus international d’experts, sépare l’usage malveillant documenté et les défaillances de fiabilité des scénarios hypothétiques de perte de contrôle. Il indique que les systèmes actuels manquent des capacités nécessaires à la perte de contrôle, que les capacités pertinentes s’améliorent, et que les experts sont en désaccord substantiel sur la probabilité et la gravité (Rapport international sur la sécurité de l’IA 2026).
Ce n’est pas une « probabilité de consensus ». C’est un consensus selon lequel les preuves contiennent des risques sérieux et une incertitude majeure. L’évaluation scientifique peut identifier des mécanismes, des observations, des lacunes, et des garde-fous sans prétendre connaître une probabilité unique de catastrophe.
Comment présenter une estimation publique
Une entrée responsable devrait ressembler à ceci :
En [date], [personne ou groupe] a attribué [probabilité ou fourchette] à [résultat exact] d’ici [échéance], sous [définition de la technologie], en se fondant sur [raisons principales]. Il s’agit de [jugement personnel, agrégat d’enquête, ou prévision structurée], pas d’une fréquence observée.
Incluez la distribution lorsque c’est possible. Rapportez le taux de réponse et la sélection de l’échantillon pour les enquêtes. Distinguez la moyenne de la médiane, et la probabilité conditionnelle de l’inconditionnelle. Préservez les révisions afin que les prévisions puissent être évaluées plutôt que discrètement réécrites.
Ne faites pas de moyenne entre des questions incompatibles. Combiner l’estimation de « perte de pouvoir permanente » d’une enquête avec l’estimation de « population sous les 1 000 individus » d’un tournoi produit un chiffre sans signification cohérente.
La prise de décision sous désaccord
La politique publique n’exige pas la certitude. Des risques à faible probabilité et à conséquence élevée peuvent justifier la recherche, la surveillance, la résilience, et des garde-fous réversibles quand ces mesures apportent des bénéfices sous plusieurs scénarios. Le coût et les effets secondaires de l’intervention comptent aussi. Une précaution qui enracine un monopole, supprime une science légitime, ou augmente l’instabilité géopolitique peut soulever d’autres risques.
Les mesures robustes incluent des évaluations indépendantes, le signalement d’incidents, la sécurité des modèles, la réponse d’urgence, la défense biologique, la cybersécurité, le contrôle humain sur l’usage nucléaire, et une redevabilité claire. Elles restent utiles sur un large éventail de probabilités.
Des tolérances au risque différentes sont des questions politiques légitimes. Les experts peuvent éclairer les preuves mais ne peuvent pas décider seuls comment la société arbitre entre innovation, liberté, répartition, sécurité, et préjudice futur incertain.
Réviser plutôt que défendre une tribu
Les prévisions devraient changer quand les preuves changent. Les mises à jour pertinentes incluent une autonomie soutenue sur des tâches longues, des avancées de recherche générées par l’IA validées, des défaillances réelles de garde-fous, une supervision réussie, des lois majeures, ou des plateaux de capacité persistants. Un prévisionniste devrait indiquer ce qui ferait monter ou baisser son estimation.
La diversité intellectuelle améliore l’évaluation. Incluez des sceptiques techniques, des chercheurs en sécurité, des spécialistes des sciences sociales, des prévisionnistes, des experts de domaine, des communautés concernées, et des décideurs politiques. Le désaccord devrait être cartographié par ses hypothèses, pas réduit à des « optimistes » et des « prophètes de malheur ».
La conclusion pratique
Les estimations d’experts montrent que le risque catastrophique de l’IA est pris au sérieux par de nombreuses personnes qualifiées et mis en doute par d’autres. Elles n’établissent ni une probabilité mesurée, ni une vision scientifique unanime. Les enquêtes révèlent des croyances ; les tournois imposent une discipline de prévision ; la théorie explique des trajectoires ; les évaluations testent des composants ; le déploiement fournit des preuves du monde réel.
La position publique la plus honnête est une incertitude structurée : définir le résultat, montrer la fourchette, exposer les hypothèses, suivre la calibration lorsque c’est possible, et choisir des garde-fous qui restent valables sous plusieurs futurs plausibles.