Konstruierte Pandemien und das Risiko von Biowaffen Was KI-Bio-Uplift-Studien zeigen, was nicht, und wie Informationsschutzmaßnahmen mit realer Biosicherheit zusammenhängen, samt Anthropics ASL-3-Entscheidung 2025.
Quellen geprüft 5 min
07 Mechanismen
Die Mechanismen hinter den schlimmsten Ergebnissen
Kapitel 02 behandelt den allgemeinen Mechanismus des Kontrollverlusts. Dieses Kapitel ist das Verzeichnis der konkreten, benannten Pfade, die Forscher tatsächlich untersuchen — denn die Intervention, die den einen verhindert, verhindert nicht zwangsläufig den anderen.
Warum dies kein einzelnes Szenario ist
„KI könnte alle töten“ komprimiert mehrere strukturell verschiedene Fehlermodi zu einem einzigen Bild. Diese Komprimierung ist nützlich für eine Schlagzeile und nutzlos für die Prävention, denn die technischen und politischen Eingriffe, die einen Mechanismus adressieren, bewirken bei einem anderen möglicherweise wenig — Kontrollen bei einem großen Trainingslauf verhindern zum Beispiel allein nicht den Missbrauch eines bereits eingesetzten Modells. Mehr als 350 Forscher und Führungskräfte, darunter Personen, die mit mehreren großen Laboren verbunden sind, unterzeichneten 2023 eine einsätzige Erklärung, die politische Entscheidungsträger drängte, Aussterberisiko als globale Priorität zu behandeln. Sie hält eine Position fest, die von prominenten Unterzeichnern vertreten wird; sie misst nicht die Wahrscheinlichkeit eines Schadens:
Signatories to the Statement on AI Risk hold that mitigating the risk of extinction from AI should be a global priority alongside pandemics and nuclear war.
safe.ai, Signed statement
Drei große Familien
Der Internationale KI-Sicherheitsbericht 2026 verwendet drei große Familien. Böswillige Nutzung ist ein Mensch, der KI-Fähigkeiten absichtlich auf Massenschaden ausrichtet — konstruierte Pandemien, Infrastrukturangriffe oder autonome Waffen. Fehlfunktionen umfassen Zuverlässigkeitsausfälle und prospektive Kontrollverlust-Szenarien, in denen Systeme außerhalb jeder Kontrolle operieren. Systemische Risiken entstehen durch breiten Einsatz und institutionelle Wechselwirkung, einschließlich Konzentration, Störung des Arbeitsmarkts und allmählicher menschlicher Entmachtung. Kategorien können sich überschneiden, und die Stärke der Evidenz unterscheidet sich zwischen den Mechanismen. Der Vorsitzende des Berichts hat den Kontrollverlust öffentlich betont:
Yoshua Bengio warned that future systems exhibiting self-preservation behavior could create a loss-of-control risk.
AFP, via TechXplore, Secondary coverage
Geoffrey Hinton hat ebenfalls eine persönliche Wahrscheinlichkeitsschätzung abgegeben. Es handelt sich um ein Experturteil unter Unsicherheit, keine gemessene Häufigkeit:
Geoffrey Hinton said in a December 2024 BBC interview that he put the chance of AI causing human extinction within thirty years at 10–20%.
BBC Radio 4, reported by The Guardian, Secondary coverage
Was dieses Kapitel nicht tut
Redaktionelle Grenze
Jede Seite unterscheidet dokumentierte Evidenz von Prognosen und Theorie und benennt zugleich die Gegenmaßnahmen, die Forscher vorschlagen. Keine beschreibt Synthese-, Exploit- oder Angriffsdetails — diese Information würde einen Leser nicht sicherer machen, und sie zu veröffentlichen ist nicht das, was informierte Vorsorge erfordert. Siehe den Quellenstandard dafür, wie folgenreiche Behauptungen klassifiziert und überprüft werden.
In diesem Kapitel
KI-gestützte Cyberangriffe auf Infrastruktur Was KI in Cyberoperationen verändert, warum Infrastruktur exponiert ist, und warum das Kräfteverhältnis zwischen Angriff und Verteidigung unsicher bleibt.
Quellen geprüft 5 min
Autonome Waffen und militärische Eskalation Was Autonomie bei Waffen bedeutet, was in Konflikten dokumentiert wurde, und wie KI Eskalation und Rechenschaftspflicht verändern könnte, wie im Fall Kargu-2.
Quellen geprüft 6 min
Allmähliche Entmachtung Ein theoretischer Pfad, auf dem KI-Abhängigkeit menschliche Kontrolle ohne dramatische Machtübernahme untergräbt — formalisiert für Wirtschaft, Staat und Kultur.
Quellen geprüft 6 min
Reward Hacking und Specification Gaming Wie Optimierer unvollkommene Ziele ausnutzen, was beobachtet wurde, und warum heutige Beispiele allein keinen künftigen Kontrollverlust beweisen.
Quellen geprüft 6 min
Massenüberzeugung und epistemische Manipulation Was Experimente über KI-Überzeugung zeigen, was reale Evidenz noch nicht belegt, und wie Skalierung das Risiko ändern könnte, laut einer Studie mit 76.977 Teilnehmern.
Quellen geprüft 5 min
Multipolare und Multi-Agenten-Dynamiken der Katastrophe Wie Wettbewerb zwischen Staaten, Unternehmen und autonomen KI-Agenten katastrophale Ergebnisse erzeugen kann, selbst wenn alle das Desaster vermeiden wollen.
Quellen geprüft 6 min
KI-Risikoschätzungen und Uneinigkeit unter Experten Wie man Umfragen, Prognosen und Wahrscheinlichkeitsschätzungen liest, ohne Konsens vorzutäuschen oder Unsicherheit abzutun, anhand einer Umfrage unter 2.778 Personen.
Quellen geprüft 6 min
KI, nukleare Führung und Krisenstabilität Wie KI-Entscheidungsunterstützung nukleare Krisen beeinflussen könnte, auch ohne Abschussbefugnis, und welche Schutzmaßnahmen das Eskalationsrisiko verringern.
Quellen geprüft 6 min
Täuschung, Sandbagging, Selbstreplikation und Exfiltration Was vier unterschiedliche Evaluationen von Frontier-Modellen testen, was Labore beobachtet haben, und warum keine allein katastrophalen Kontrollverlust belegt.
Quellen geprüft 6 min
Kaskadenversagen des Nahrungsmittelsystems Fast jedes Szenario nahe der Auslöschung führt über Hunger, nicht direkte Gewalt. Wie das Nahrungsmittelsystem kaskadenartig versagt, und was es tatsächlich bräche.
Quellen geprüft 5 min
Fragilität der Infrastruktur und einzelne Ausfallpunkte Wie viel des modernen Lebens auf Komponenten beruht, deren Ersatz Tage, Monate oder Jahre dauert — und warum jedes katastrophale Szenario auf demselben Substrat wirkt.
Quellen geprüft 5 min