Warum Experten-Schätzungen zur Auslöschung so weit auseinandergehen

Was diese Seite ist, und was nicht

Diese Seite handelt von der Evidenz hinter den Zahlen, nicht von den Zahlen selbst. Sie haben die Schlagzeilen gesehen: Ein ernsthafter Forscher sagt, die Wahrscheinlichkeit KI-getriebener menschlicher Auslöschung liege bei rund 20%, ein anderer sagt, sie sei praktisch null, und beide berufen sich auf Fachkompetenz. Diese Seite erklärt, woher diese Schätzungen kommen, warum sie sich über zwei Größenordnungen streuen, und — am nützlichsten — was ein sorgfältiger Leser mit einer Größe anfangen sollte, die niemand messen kann.

Die hier besprochenen Umfrageergebnisse und Modelle sind beobachtete Veröffentlichungen. Die Interpretation dessen, was ihre Uneinigkeit bedeutet, ist Analyse. Für das begleitende Argument, dass diese Zahlen eine kategorial andere Art von Ergebnis beschreiben, siehe Auslöschung versus Massenopferereignisse; die breitere Behandlung der Schätzungen in diesem Handbuch findet sich unter Risikoeinschätzungen und Expertendissens.

Was die Umfragen tatsächlich sagen

Die größte relevante Umfrage fragte Tausende Forscher des maschinellen Lernens — Autoren bei großen KI-Konferenzen — nach ihren Wahrscheinlichkeiten für die langfristige Wirkung fortgeschrittener KI. Die Welle von 2023 fand einen medianen Schätzwert von etwa 5% für menschliche Auslöschung oder ähnlich dauerhafte und schwere Entmachtung, verursacht durch künftige KI-Fortschritte, mit einem Mittelwert nahe 16% und einem Interquartilsabstand von etwa 0% bis 19% (Grace et al., 2024). Man lese diese Verteilung, nicht nur den Median: Ein Mittelwert, der viermal so hoch ist wie der Median, bedeutet einen langen rechten Ausläufer, mit einer erheblichen Minderheit von Experten über 20% und manchen nahe 50%, während eine andere erhebliche Minderheit im Wesentlichen bei null liegt.

Dasselbe Papier dokumentiert, dass sich die Zahl mit der Formulierung bewegt. Als die Frage Auslöschung durch die Unfähigkeit der Menschen, fortgeschrittene KI zu kontrollieren, spezifizierte, verdoppelte sich der Median auf etwa 10%. Als eine Welle von 2022 nach Auslöschung durch KI im Allgemeinen fragte, lag der Median bei 5%; frühere Runden der AI-Impacts-Umfrage zeigen dieselbe Empfindlichkeit gegenüber der Formulierung (2022 Expert Survey on Progress in AI). Eine Größe, die sich um den Faktor zwei verschiebt, wenn die Frage umformuliert wird, sagt etwas über die Unsicherheit der Befragten aus — und, offen gesagt, über die Unschärfe des gemessenen Konzepts. Nichts davon macht die Umfragen wertlos. Es macht sie zu Rohmaterial, nicht zu Urteilen.

Modellbasierte Schätzungen versus Bauchgefühl

Eine zweite Familie von Schätzungen fragt niemandes Intuition ab; sie baut ein explizites Argument auf und weist jedem Schritt Wahrscheinlichkeiten zu. Das strengste Beispiel ist Joseph Carlsmiths strukturierte Analyse dazu, ob nach Macht strebende KI ein existenzielles Risiko darstellt, die die Behauptung in sechs Konjunkte zerlegt — Systeme werden viel fähiger werden, sie werden nach Macht streben, Menschen werden dies nicht korrigieren können, und so weiter — und für jeden eine Wahrscheinlichkeit verteidigt. Seine Schlusszahl liegt bei rund 10% für eine KI-verursachte Katastrophe in diesem Jahrhundert, mit breiten Fehlerbalken, die er sorgfältig anzeigt (Carlsmith, 2022). Philosophen, die in derselben Tradition arbeiten, kommen zu anderen Zahlen, indem sie einzelne Konjunkte anfechten: Toby Ord argumentiert in The Precipice (2020) für ein gesamtes existenzielles Risiko durch fehlausgerichtete KI von rund eins zu sechs in diesem Jahrhundert, getrieben von einer pessimistischeren Lesart des Alignment-Problems.

Diese Modelle teilen eine Tugend, die den Umfragen fehlt: Jeder Schritt ist sichtbar und anfechtbar. Sie teilen zwei Laster. Jeder Schritt ist auch anfechtbar, weshalb vernünftige Leser das Vorzeichen einzelner Konjunkte umkehren; und die jedem Schritt zugewiesenen Wahrscheinlichkeiten sind letztlich immer noch Urteile. Ein Bauchgefühl mit einem Diagramm ist immer noch ein Bauchgefühl. Die Uneinigkeit zwischen einem strukturierten 10%-Modell und einer 0,1%-Intuition ist kein Messkonflikt. Es ist ein Konflikt darüber, welche Referenzklassen und welche Versagensmodi Gewicht verdienen.

Warum Referenzklassen in unterschiedliche Richtungen ziehen

Unter jeder Schätzung liegt eine Analogie, und die Analogien stehen echt im Widerspruch:

• Biologische Auslöschung. Arten sterben ständig aus; die Hintergrundrate liegt in den letzten Jahrzehnten bei etwa ein bis fünf Arten pro Jahr. Aber das sind Arten mit kleinen Populationen und engen Verbreitungsgebieten. Das nächste menschliche Analogon, der Toba-Supereruptions-Flaschenhals, ist umstritten und liegt vollständig vor der Zivilisation. Diese Grundrate zieht Richtung „Auslöschung ist ein normales Ergebnis”, während sie fast nichts über eine globale technologische Spezies aussagt.
• Nukleare Beinahe-Zwischenfälle. Die Kubakrise, der Zwischenfall um Stanislaw Petrow von 1983 und der norwegische Raketenschreck von 1995 zeigen Systeme unter maximaler Anspannung, die Beinahe-Versagen erzeugen und dann nicht versagen. Optimisten lesen eine lange Reihe von durch Glück geretteten Ereignissen; Pessimisten lesen dieselbe Reihe als Beweis, dass das Glück irgendwann ausgeht.
• Technologieunfälle. Verkehrsflugzeuge, Reaktoren und Raumfahrzeuge versagen mit messbaren Raten und werden dann durch mühsam erlerntes Neudesign sicherer. Optimisten extrapolieren das Neudesign; Pessimisten merken an, dass die Luftfahrt nicht nur einmal Erfolg haben musste.

Jede Analogie ist ehrlich. Jede kodiert einen Prior, keine Tatsache. Schätzungen divergieren, weil die Priors divergieren, und die Priors divergieren, weil es keine direkte Evidenz gibt — keinen abgeschlossenen Durchlauf des Experiments —, die eine von ihnen diszipliniert.

Was die Uneinigkeit selbst aussagt

Hier ist der analytische Punkt, den die meiste Berichterstattung übersieht: Die Varianz ist der Befund. Wäre die Auslöschungswahrscheinlichkeit leicht zu schätzen, würden Tausende informierte Experten keine Schätzungen von nahe null bis nahe Münzwurf produzieren. Die Streuung ist Evidenz über den Wissensstand, so wie wild divergierende Wettermodelle Evidenz dafür sind, dass der Sturm genuin unvorhersehbar ist, nicht dafür, dass die durchschnittliche Prognose richtig sein muss. Die Experten zu einer ordentlichen Mittelzahl — sagen wir 5% — zu mitteln, erzeugt das Gefühl von Präzision, ohne einen Teil der Information zu erben. Der International AI Safety Report 2026, der bislang umfassendste Syntheseversuch, ist offen darin, dass die Evidenz zu schwerem Risiko dünn, umstritten und auf eine Handvoll Labore konzentriert ist (International AI Safety Report 2026).

Eine weitere Tatsache, die die Verteilung kodiert: Uneinigkeit ist nicht zufällig. In den Umfragen weisen Forscher, die schnelleren Fähigkeitsfortschritt erwarten, höhere Katastrophenrisiko-Wahrscheinlichkeiten zu, und Forscher an Spitzenlaboren weisen niedrigere zu als unabhängige Akademiker. Ein Teil davon ist Evidenz darüber, wer was sieht. Ein Teil ist Anreiz. Leser sollten beide Erklärungen im Blick behalten.

Wie man diese Zahlen tatsächlich nutzt

Die praktische Schlussfolgerung ist nicht, dass die Zahlen nutzlos sind; es ist, dass sie mit dem richtigen Werkzeug genutzt werden müssen. Erwartungswert-Buchhaltung — eine präzise Wahrscheinlichkeit mit einem Ergebnis multiplizieren und die Resultate ordnen — versagt hier, weil der Input ein Urteil mit einer Breite von zwei Größenordnungen ist und kleine Fehler im Input das Ergebnis still dominieren. Entscheidungsfindung unter tiefer Unsicherheit funktioniert anders: Man fragt, welche Handlungen über die gesamte plausible Spanne hinweg noch lohnenswert sind, und man bevorzugt Handlungen, die robust statt optimal sind.

Auf das KI-Auslöschungsrisiko angewandt, klärt diese Logik die Sache. Präventionsarbeit — Fähigkeitsbewertungen, Einsatz-Schutzmaßnahmen, Compute-Governance — erscheint bei 20%, bei 5% und bei 1% lohnenswert, weil die Kosten der Arbeit bescheiden sind und das Ergebnis, das sie absichert, kategorial anders ist als alles, was in gewöhnlicher Politik bepreist wird. Zurückweisung erscheint nur nahe null verteidigbar. Die Umfragen leisten also, trotz ihrer Unschärfe, echte Arbeit: Sie sagen Ihnen, dass Nahe-null eine umstrittene Position ist, kein Konsens. Wie die zugrunde liegenden Zeithorizont-Erwartungen die Uneinigkeit antreiben, siehe Zeithorizont-Prognosen. Sie müssen die Wahrscheinlichkeit des Feuers nicht kennen, um den Kauf des Feuerlöschers zu rechtfertigen. Sie müssen wissen, dass ernsthafte Menschen, die dieselbe Evidenz betrachten, weiterhin Rauch riechen.