Pandémies conçues et risque d'armes biologiques Ce que montrent les études sur le gain bio-IA, ce qu'elles ne montrent pas, et comment l'information se relie à la biodéfense réelle, dont l'ASL-3 d'Anthropic.
Sources vérifiées 7 min
07 Mécanismes
Les mécanismes derrière les pires scénarios
Le chapitre 02 couvre le mécanisme général de perte de contrôle. Ce chapitre est le registre des trajectoires spécifiques et nommées que les chercheurs étudient réellement — car l'intervention qui empêche l'une ne prévient pas nécessairement l'autre.
Pourquoi ce n'est pas un seul scénario
« L'IA pourrait tous nous tuer » comprime plusieurs modes de défaillance structurellement distincts en une seule image. Cette compression est utile pour un titre et inutile pour la prévention, car les interventions techniques et politiques qui traitent un mécanisme peuvent n'avoir que peu d'effet sur un autre — les contrôles portant sur un grand entraînement, par exemple, n'empêchent pas à eux seuls le mésusage d'un modèle déjà déployé. Plus de 350 chercheurs et dirigeants, y compris des personnes affiliées à plusieurs grands laboratoires, ont signé en 2023 une déclaration d'une seule phrase exhortant les décideurs politiques à traiter le risque d'extinction comme une priorité mondiale. Elle consigne une position soutenue par des signataires éminents ; elle ne mesure pas la probabilité d'un préjudice :
Signatories to the Statement on AI Risk hold that mitigating the risk of extinction from AI should be a global priority alongside pandemics and nuclear war.
safe.ai, Signed statement
Trois grandes familles
Le Rapport international sur la sécurité de l'IA de 2026 retient trois grandes familles. L'usage malveillant est le fait d'un humain qui dirige délibérément la capacité de l'IA vers un préjudice massif — pandémies conçues, attaques d'infrastructures ou armes autonomes. Les dysfonctionnements incluent les défaillances de fiabilité et les scénarios prospectifs de perte de contrôle dans lesquels les systèmes opèrent hors du contrôle de quiconque. Les risques systémiques surviennent par le déploiement généralisé et l'interaction institutionnelle, notamment la concentration, la disruption du travail et la perte de pouvoir humaine graduelle. Les catégories peuvent se recouper, et la solidité des preuves diffère selon les mécanismes. Le président du rapport a publiquement mis l'accent sur la perte de contrôle :
Yoshua Bengio warned that future systems exhibiting self-preservation behavior could create a loss-of-control risk.
AFP, via TechXplore, Secondary coverage
Geoffrey Hinton a également proposé une estimation de probabilité personnelle. Il s'agit d'un jugement d'expert sous incertitude, non d'une fréquence mesurée :
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
Ce que ce chapitre ne fait pas
Limite éditoriale
Chaque page distingue les preuves documentées des prévisions et de la théorie, tout en nommant les mesures d'atténuation que proposent les chercheurs. Aucune ne décrit de détails de synthèse, d'exploit ou d'attaque — cette information ne rendrait pas un lecteur plus en sécurité, et la publier n'est pas ce qu'exige une préparation informée. Consultez la norme de sourçage pour savoir comment les affirmations à conséquences sont classées et vérifiées.
Dans ce chapitre
Cyberattaques assistées par l'IA contre les infrastructures Ce que l'IA change dans les opérations cybernétiques, pourquoi les infrastructures sont exposées, et pourquoi l'équilibre attaque-défense reste incertain en 2025.
Sources vérifiées 7 min
Armes autonomes et escalade militaire Ce que signifie l'autonomie des armes, ce qui a été documenté en conflit, et comment l'IA pourrait changer l'escalade, dont le cas du Kargu-2 en Libye.
Sources vérifiées 7 min
La perte de pouvoir humaine graduelle Une voie théorique où la dépendance envers l'IA érode le contrôle humain sans prise de pouvoir spectaculaire, formalisée pour l'économie, l'État et la culture.
Sources vérifiées 7 min
Le reward hacking et la manipulation des spécifications Comment les optimiseurs exploitent des objectifs imparfaits, ce qui a été observé, et pourquoi ces exemples ne prouvent pas seuls une future perte de contrôle.
Sources vérifiées 7 min
Persuasion de masse et manipulation épistémique Ce que montrent les expériences sur la persuasion par IA, ce que les preuves réelles n'établissent pas encore, et comment l'échelle pourrait changer le risque.
Sources vérifiées 6 min
Dynamiques catastrophiques multipolaires et multi-agents Comment la compétition entre États, entreprises et agents d'IA autonomes peut créer des résultats catastrophiques même quand chacun préfère éviter le désastre.
Sources vérifiées 7 min
Estimations du risque de l'IA et désaccord entre experts Comment interpréter enquêtes et prévisions de probabilité sans fabriquer de consensus ni rejeter l'incertitude, selon une enquête menée auprès de 2 778 chercheurs.
Sources vérifiées 8 min
L'IA, le commandement nucléaire et la stabilité en temps de crise Comment l'aide à la décision par IA pourrait affecter les crises nucléaires même sans autorité de lancement, et quelles garanties réduisent le risque d'escalade.
Sources vérifiées 8 min
Tromperie, sandbagging, autoréplication et exfiltration Ce que testent quatre évaluations de modèles de pointe, ce qu'ont observé les laboratoires, et pourquoi aucune ne démontre seule une perte de contrôle catastrophique.
Sources vérifiées 8 min
Les défaillances en cascade du système alimentaire Presque tout scénario proche de l'extinction passe par la faim, pas la violence directe. Comment le système alimentaire s'effondre en cascade, et ce qui le briserait.
Sources vérifiées 7 min
Fragilité des infrastructures et points de défaillance uniques Combien de la vie moderne repose sur des composants qui prennent des jours, mois ou années à remplacer, et pourquoi tout scénario catastrophique agit sur ce substrat.
Sources vérifiées 7 min