Ein Prozentsatz ist ein Urteil, keine Messung
Wenn ein Forscher sagt, es bestehe eine Wahrscheinlichkeit von 10 Prozent, dass fortgeschrittene KI die menschliche Auslöschung verursacht, ist diese Zahl keine über wiederholte Geschichtsverläufe gemessene Häufigkeit. Sie ist eine subjektive Wahrscheinlichkeit, die Überzeugungen über Fähigkeit, Einsatz, Institutionen, Konflikt, und viele unsichere Schritte zusammenfasst. Ein anderer Experte mag „existenzielles Risiko” nutzen, um dauerhafte menschliche Entmachtung einzuschließen, während eine Schlagzeile nur die Auslöschung berichtet.
Solche Schätzungen können Entscheidungen informieren, besonders wenn die Konsequenzen enorm sind, sollten aber nicht als etablierte wissenschaftliche Konstanten dargestellt werden. Wer spricht, das Datum, die genaue Frage, der Zeithorizont, die Definition des Ergebnisses, die Evidenz, und die Unsicherheit — alles zählt. Die persönliche Schätzung eines berühmten Wissenschaftlers bleibt eine persönliche Schätzung.
Das Ergebnis definieren, bevor Zahlen verglichen werden
Mindestens vier Ergebnisse werden häufig vermengt:
- schwerer Schaden: hohe Opferzahlen, wirtschaftlicher Verlust, oder Rechtsverletzungen;
- globale Katastrophe: Schaden, der einen Großteil der Menschheit betrifft, oder einen festgelegten Anteil an Toten;
- menschliche Auslöschung: keine überlebende menschliche Bevölkerung;
- existenzielle Katastrophe: Auslöschung oder irreversible Zerstörung des langfristigen Potenzials der Menschheit, manchmal einschließlich dauerhafter, schwerer Entmachtung.
Prognosen können fragen, ob KI das Ergebnis verursacht, ein notwendiger Beitragender ist, oder lediglich irgendwo in der Kette auftaucht. Sie können zehn Jahre, das Jahr 2100, oder die gesamte künftige Zeit abdecken. Eine Ein-Prozent-Schätzung über zehn Jahre lässt sich nicht direkt mit einer Fünf-Prozent-Schätzung über ein Jahrhundert vergleichen.
Auch die Definitionen der Technologie variieren: heutige KI mit allgemeinem Verwendungszweck, „hochrangige maschinelle Intelligenz”, AGI, Superintelligenz, oder jede künftige KI. Den ursprünglichen Wortlaut immer bewahren.
Was die große Forscherumfrage ergab
Die Expert Survey on Progress in AI von 2023 lud Autoren führender KI-Publikationsorte ein und erhielt Antworten von 2.778 Forschern. Ihre veröffentlichte Analyse fand breite Uneinigkeit über Zeitverläufe und Wirkungen. Die meisten Befragten erwarteten, dass gute Ergebnisse durch übermenschliche KI wahrscheinlicher seien als schlechte, doch viele wiesen extrem schlechten Ergebnissen eine nicht triviale Wahrscheinlichkeit zu. Das Paper stellte zudem fest, dass sich Antworten je nach Formulierung der Frage änderten (Grace et al., „Thousands of AI Authors on the Future of AI”).
Das stützt nicht die Aussage „KI-Experten sind sich einig, dass Auslöschung wahrscheinlich ist”. Es stützt eine engere Behauptung: Ein erheblicher Teil der befragten Forscher hielt extreme Ergebnisse für plausibel genug, um ihnen bedeutsame Wahrscheinlichkeit zuzuweisen, neben Optimismus und breiter Streuung. Für einen genaueren Blick darauf, warum die auslöschungsspezifischen Antworten in dieser und anderen Umfragen so weit auseinandergehen, siehe warum Experten-Schätzungen zur Auslöschung so weit auseinandergehen.
Zu den Einschränkungen der Umfrage zählen Nichtantworten, unterschiedliches Fachwissen in der Risikoanalyse, instabile Definitionen, und die Schwierigkeit, intuitive Besorgnis in kalibrierte Wahrscheinlichkeiten zu übersetzen. Eine Veröffentlichung auf einer führenden KI-Konferenz belegt technische Erfahrung, nicht prognostisches Können bei Geopolitik oder gesellschaftlichem Wandel im Jahrhundertmaßstab. Medianantworten verbergen zudem Polarisierung und Korrelationen zwischen den Befragten.
Prognoseturniere offenbaren eine weitere Uneinigkeit
Das Existential Risk Persuasion Tournament brachte 80 Fachexperten und 89 Superprognostiker mit Erfolgsbilanz bei kurzfristigeren Prognosen zusammen. Teilnehmer schätzten KI-, nukleare, biologische, und andere Risiken unter gemeinsamen Definitionen, tauschten Argumente aus, und aktualisierten ihre Schätzungen (Forecasting Research Institute XPT).
Die daraus resultierende, fachbegutachtete Analyse fand große Unterschiede zwischen Fachexperten und Superprognostikern, besonders bei KI (Karger et al., International Journal of Forecasting). Das ist wertvolle Evidenz gegen einen falschen Konsens. Es beweist nicht, dass die niedrigere oder die höhere Gruppe recht hat.
Superprognostiker haben Kalibrierung bei vielen auflösbaren Fragen mit kürzerem Horizont nachgewiesen. Auslöschungsfragen im Jahrhundertmaßstab lassen sich nicht innerhalb der Karriere der Teilnehmer bewerten, und seltene Wahrscheinlichkeiten unter einem Prozent sind besonders schwer zu validieren. Fachexperten verstehen Mechanismen womöglich besser, gelangen aber womöglich aus Besorgnis in ein Feld und können es an prognostischer Kalibrierung fehlen lassen. Die Gruppen bringen unterschiedliche Stärken und Verzerrungen mit.
Warum Experten uneinig sind
Fähigkeitsannahmen: Werden aktuelle Methoden robuste Autonomie, wissenschaftliche Entdeckung, und strategische Planung hervorbringen, oder bleiben Zuverlässigkeit und Verkörperung schwierig?
Annahmen zum Zeitverlauf: Risiko häuft sich unterschiedlich an, je nachdem, ob transformative Fähigkeit in fünf Jahren oder in fünfzig eintritt. Institutionen haben bei langsamerem Fortschritt mehr Zeit zur Anpassung, doch mehr Akteure könnten Zugang erlangen.
Alignment-Annahmen: Forscher sind sich uneinig, ob fortgeschrittene Systeme dauerhafte Ziele entwickeln, ob aktuelles Training sie kontrollieren wird, und wie stark beobachtbare Vorläuferevidenz Prognosen bewegen sollte.
Annahmen zu Macht und Einsatz: Ein fähiges Modell ohne Werkzeuge oder Autorität unterscheidet sich von einem breit eingesetzten Agenten, der Geld, Code, Labore, oder Infrastruktur kontrolliert.
Governance-Annahmen: Wettbewerb, militärischer Konflikt, konzentriertes Eigentum, Regulierung, und internationale Koordination können die technische Unsicherheit dominieren.
Moralische Definitionen: Dauerhafter Verlust menschlicher Kontrolle mag für den einen Prognostiker als existenzieller Schaden zählen, für einen anderen nicht.
Eine Schlagzeilenzahl verdichtet dieses gesamte Modell. Gute Berichterstattung entfaltet es wieder.
Kalibrierung ist schwierig, aber nicht optional
Ein kalibrierter Prognostiker, der vielen Ereignissen 20 Prozent zuweist, sollte etwa in einem Fünftel der Fälle recht haben. Kalibrierung lässt sich nur über eine Menge vergleichbarer, aufgelöster Fragen messen. Eine einzelne Prognose zur Auslöschung bis 2100 können wir heute nicht direkt kalibrieren.
Prognostiker können ihre Disziplin dennoch verbessern, indem sie den Pfad in nähere, beobachtbare Fragen zerlegen: Modellautonomie, Automatisierung der Forschung, Versagen von Schutzmaßnahmen, Umfang des Einsatzes, Vorfallraten, und die Übernahme von Governance. Diese Prognosen können sich früher auflösen und offenbaren, welche Annahmen falsch waren.
Basisraten mit Vorsicht nutzen. Die Menschheit hat keine historische Stichprobe von AGI-Übergängen. Analogien zu Atomwaffen, Pandemien, Cybersicherheit, Industrieunfällen, oder Software-Einführung bieten partielle Evidenz, keine direkte Referenzklasse. Mechanistische Modelle bergen zudem das Risiko, spekulative Wahrscheinlichkeiten über abhängige Schritte hinweg zu verketten.
Die wissenschaftliche Synthese vergibt keine einzelne Wahrscheinlichkeit
Der Internationale KI-Sicherheitsbericht 2026, verfasst durch einen internationalen Expertenprozess, trennt dokumentierten böswilligen Missbrauch und Zuverlässigkeitsversagen von hypothetischen Kontrollverlust-Szenarien. Er stellt fest, dass aktuellen Systemen die für Kontrollverlust nötigen Fähigkeiten fehlen, dass sich relevante Fähigkeiten verbessern, und dass Experten in Bezug auf Wahrscheinlichkeit und Schwere erheblich uneinig sind (International AI Safety Report 2026).
Das ist keine „Konsens-Wahrscheinlichkeit”. Es ist ein Konsens darüber, dass die Evidenz ernste Risiken und erhebliche Unsicherheit enthält. Wissenschaftliche Bewertung kann Mechanismen, Beobachtungen, Lücken, und Schutzmaßnahmen identifizieren, ohne vorzugeben, eine einzelne Wahrscheinlichkeit für Katastrophe zu kennen.
Wie eine öffentliche Schätzung präsentiert werden sollte
Ein verantwortungsvoller Eintrag sollte so aussehen:
Im [Datum] wies [Person oder Gruppe] [Wahrscheinlichkeit oder Spanne] dem [genauen Ergebnis] bis [Zeitpunkt] zu, unter [Technologiedefinition], basierend auf [Hauptgründen]. Dies ist [persönliches Urteil, Umfrage-Aggregat, oder strukturierte Prognose], keine beobachtete Häufigkeit.
Die Verteilung einbeziehen, wo möglich. Für Umfragen Rücklaufquote und Stichprobenauswahl angeben. Mittelwert von Median und bedingte von unbedingter Wahrscheinlichkeit unterscheiden. Revisionen bewahren, damit Prognosen bewertet statt stillschweigend überschrieben werden können.
Keine unvereinbaren Fragen mitteln. Die „dauerhafte Entmachtung”-Schätzung einer Umfrage mit der „Bevölkerung unter 1.000”-Schätzung eines Turniers zu kombinieren, erzeugt eine Zahl ohne kohärente Bedeutung.
Entscheidungsfindung bei Uneinigkeit
Politik erfordert keine Gewissheit. Risiken mit niedriger Wahrscheinlichkeit und hoher Konsequenz können Forschung, Überwachung, Resilienz, und reversible Schutzmaßnahmen rechtfertigen, wenn diese Maßnahmen über mehrere Szenarien hinweg Nutzen bringen. Kosten und Nebenwirkungen eines Eingriffs zählen ebenfalls. Eine Vorsichtsmaßnahme, die ein Monopol zementiert, legitime Wissenschaft unterdrückt, oder geopolitische Instabilität erhöht, kann andere Risiken steigern.
Robuste Maßnahmen umfassen unabhängige Evaluationen, Vorfallmeldung, Modellsicherheit, Notfallreaktion, biologische Abwehr, Cybersicherheit, menschliche Kontrolle über den Nuklearwaffeneinsatz, und klare Rechenschaftspflicht. Sie bleiben über eine breite Spanne von Wahrscheinlichkeiten nützlich.
Unterschiedliche Risikotoleranzen sind legitime politische Fragen. Experten können die Evidenz informieren, können aber nicht allein entscheiden, wie eine Gesellschaft Innovation, Freiheit, Verteilung, Sicherheit, und unsicheren künftigen Schaden gegeneinander abwägt.
Aktualisieren statt einen Stamm zu verteidigen
Prognosen sollten sich ändern, wenn sich Evidenz ändert. Relevante Aktualisierungen umfassen anhaltende Autonomie bei langen Aufgaben, validierte, KI-generierte Forschungsfortschritte, reale Versagen von Schutzmaßnahmen, erfolgreiche Aufsicht, bedeutende Gesetze, oder anhaltende Fähigkeitsplateaus. Ein Prognostiker sollte angeben, was die Schätzung nach oben oder unten bewegen würde.
Intellektuelle Vielfalt verbessert die Bewertung. Technische Skeptiker, Sicherheitsforscher, Sozialwissenschaftler, Prognostiker, Fachexperten, betroffene Gemeinschaften, und politische Entscheidungsträger einbeziehen. Uneinigkeit sollte anhand von Annahmen kartiert werden, nicht auf „Optimisten” und „Untergangspropheten” reduziert werden.
Die praktische Schlussfolgerung
Expertenschätzungen zeigen, dass katastrophales KI-Risiko von vielen qualifizierten Menschen ernst genommen und von anderen bezweifelt wird. Sie begründen keine gemessene Wahrscheinlichkeit oder einheitliche wissenschaftliche Sicht. Umfragen offenbaren Überzeugungen; Turniere erzwingen prognostische Disziplin; Theorie erklärt Pfade; Evaluationen testen Komponenten; der Einsatz liefert reale Evidenz.
Die ehrlichste öffentliche Position ist strukturierte Unsicherheit: das Ergebnis definieren, die Spanne zeigen, Annahmen offenlegen, Kalibrierung verfolgen, wo möglich, und Schutzmaßnahmen wählen, die sich unter mehreren plausiblen Zukünften lohnen.