Ce qu’est cette page, et ce qu’elle n’est pas
Cette page porte sur les preuves derrière les chiffres, non sur les chiffres eux-mêmes. Vous avez vu les gros titres : un chercheur sérieux dit que la probabilité d’une extinction humaine causée par l’IA avoisine 20%, un autre dit qu’elle est pratiquement nulle, et les deux invoquent leur expertise. Cette page explique d’où viennent ces estimations, pourquoi elles s’étalent sur deux ordres de grandeur, et — ce qui est le plus utile — ce qu’un lecteur attentif devrait faire d’une grandeur que personne ne peut mesurer.
Les résultats d’enquêtes et les modèles discutés ici sont des publications observées. L’interprétation de ce que signifie leur désaccord relève de l’analyse. Pour l’argument complémentaire selon lequel ces chiffres décrivent un type de résultat catégoriquement différent, voir extinction contre événements à victimes massives ; le traitement plus large de ces estimations par le manuel se trouve dans estimations de risque et désaccord entre experts.
Ce que disent réellement les enquêtes
La plus large enquête pertinente a interrogé des milliers de chercheurs en apprentissage automatique — des auteurs présents dans les grandes conférences d’IA — sur leurs probabilités concernant l’impact à long terme de l’IA avancée. La vague de 2023 a trouvé une estimation médiane d’environ 5% pour l’extinction humaine ou une perte de pouvoir tout aussi permanente et sévère causée par de futures avancées de l’IA, avec une moyenne proche de 16% et un intervalle interquartile allant d’environ 0% à 19% (Grace et al., 2024). Lisez cette distribution, pas seulement la médiane : une moyenne quatre fois supérieure à la médiane signifie une longue queue de droite, avec une minorité substantielle d’experts au-dessus de 20% et certains proches de 50%, tandis qu’une autre minorité substantielle se situe essentiellement à zéro.
Le même article documente que le chiffre bouge avec la formulation. Quand la question précisait l’extinction causée par l’incapacité des humains à contrôler l’IA avancée, la médiane a doublé pour atteindre environ 10%. Quand une vague de 2022 interrogeait sur l’extinction par l’IA en général, la médiane était de 5% ; les vagues antérieures de l’enquête AI Impacts montrent la même sensibilité au cadrage (Enquête d’experts 2022 sur les progrès de l’IA). Une grandeur qui varie d’un facteur deux quand la question est reformulée vous dit quelque chose sur l’incertitude des répondants — et, franchement, sur le flou du concept mesuré. Rien de tout cela ne rend les enquêtes inutiles. Cela en fait une matière première, non des verdicts.
Les estimations fondées sur des modèles contre les jugements instinctifs
Une deuxième famille d’estimations ne demande l’intuition de personne ; elle construit un argument explicite et attribue des probabilités à chaque étape. L’exemple le plus rigoureux est l’analyse structurée de Joseph Carlsmith sur la question de savoir si une IA en quête de pouvoir représente un risque existentiel, qui décompose l’affirmation en six conjonctions — les systèmes deviendront beaucoup plus capables, ils rechercheront le pouvoir, les humains échoueront à corriger cela, et ainsi de suite — et défend une probabilité pour chacune. Sa conclusion se situe autour de 10% pour une catastrophe causée par l’IA ce siècle, avec de larges marges d’erreur qu’il prend soin d’afficher (Carlsmith, 2022). Des philosophes travaillant dans la même tradition arrivent à des chiffres différents en contestant des conjonctions individuelles : Toby Ord, dans The Precipice (2020), soutient un risque existentiel global lié à une IA désalignée d’environ un sur six ce siècle, porté par une lecture plus pessimiste du problème de l’alignement.
Ces modèles partagent une vertu qui manque aux enquêtes : chaque étape est visible et contestable. Ils partagent deux vices. Chaque étape est aussi contestable, ce pourquoi des lecteurs raisonnables inversent le signe de conjonctions individuelles ; et les probabilités attachées à chaque étape restent, en fin de compte, des jugements. Un jugement instinctif accompagné d’un diagramme reste un jugement instinctif. Le désaccord entre un modèle structuré à 10% et une intuition à 0,1% n’est pas un conflit de mesure. C’est un conflit sur quelles classes de référence et quels modes d’échec méritent du poids.
Pourquoi les classes de référence tirent dans des directions différentes
Sous chaque estimation se trouve une analogie, et les analogies entrent véritablement en conflit :
- L’extinction biologique. Les espèces s’éteignent constamment ; le taux de fond est d’environ une à cinq espèces par an ces dernières décennies. Mais ce sont des espèces à petites populations et aires de répartition étroites. L’analogue humain le plus proche, le goulot d’étranglement de la supéréruption de Toba, est contesté et précède entièrement la civilisation. Ce taux de base tire vers « l’extinction est un résultat normal » tout en ne disant presque rien sur une espèce technologique mondiale.
- Les quasi-accidents nucléaires. La crise des missiles de Cuba, l’incident Stanislav Petrov de 1983, et l’alerte à la fusée norvégienne de 1995 montrent des systèmes sous tension maximale produisant des quasi-échecs puis n’échouant pas. Les optimistes lisent une longue série d’événements sauvés par la chance ; les pessimistes lisent la même série comme la preuve que la chance finit par s’épuiser.
- Les accidents technologiques. Les avions de ligne, les réacteurs, et les engins spatiaux échouent à des taux mesurables puis deviennent plus sûrs grâce à une refonte durement apprise. Les optimistes extrapolent la refonte ; les pessimistes notent que l’aviation n’avait pas à réussir une seule fois.
Chaque analogie est honnête. Chacune encode un a priori, non un fait. Les estimations divergent parce que les a priori divergent, et les a priori divergent parce qu’il n’existe aucune preuve directe — aucune exécution complète de l’expérience — pour discipliner l’un ou l’autre.
Ce que le désaccord lui-même vous apprend
Voici le point analytique que la plupart des couvertures médiatiques manquent : la variance est le résultat. Si la probabilité d’extinction était facile à estimer, des milliers d’experts informés ne produiraient pas des estimations allant de presque zéro à presque un tirage à pile ou face. La dispersion est une preuve sur l’état du savoir, de la même façon que des modèles météorologiques largement divergents sont une preuve que la tempête est véritablement imprévisible, non que la prévision moyenne doit être juste. Faire la moyenne des experts en un chiffre médian bien net — disons, 5% — crée une sensation de précision sans en hériter l’information. Le Rapport international sur la sécurité de l’IA 2026, la tentative de synthèse la plus complète à ce jour, reconnaît franchement que les preuves sur les risques sévères sont minces, contestées, et concentrées dans une poignée de laboratoires (Rapport international sur la sécurité de l’IA 2026).
Un fait de plus que la distribution encode : le désaccord n’est pas aléatoire. Dans les enquêtes, les chercheurs qui s’attendent à des progrès de capacité plus rapides attribuent des probabilités de risque catastrophique plus élevées, et les chercheurs des laboratoires de pointe en attribuent de plus basses que les universitaires indépendants. Une partie de cela est une preuve sur qui voit quoi. Une partie est de l’incitation. Les lecteurs devraient retenir les deux explications.
Comment utiliser réellement ces chiffres
La conclusion pratique n’est pas que les chiffres sont inutiles ; c’est qu’ils doivent être utilisés avec le bon outil. La comptabilité de la valeur espérée — multiplier une probabilité précise par un résultat et classer les résultats — échoue ici, parce que l’intrant est un jugement large de deux ordres de grandeur et que de petites erreurs dans l’intrant dominent silencieusement le résultat. La prise de décision sous incertitude profonde fonctionne différemment : vous demandez quelles actions restent dignes d’être entreprises à travers toute la plage plausible, et vous préférez les actions robustes plutôt qu’optimales.
Appliquée au risque d’extinction par l’IA, cette logique clarifie les choses. Le travail de prévention — évaluations de capacités, garde-fous de déploiement, gouvernance du calcul — paraît valoir la peine à 20%, à 5%, et à 1%, parce que le coût du travail est modeste et le résultat qu’il protège est catégoriquement différent de tout ce qui est valorisé dans la politique ordinaire. Le rejet ne paraît défendable que près de zéro. Ainsi, les enquêtes, malgré leur flou, accomplissent un vrai travail : elles vous disent que le quasi-zéro est une position contestée, non un consensus. Pour comment les attentes de calendrier sous-jacentes alimentent le désaccord, voir prévisions de calendrier. Vous n’avez pas besoin de connaître la probabilité de l’incendie pour justifier l’achat de l’extincteur. Vous devez savoir que des gens sérieux, regardant les mêmes preuves, continuent de sentir la fumée.