Formale Autorität kann überdauern, nachdem die praktische Kontrolle verschwunden ist
Ein Parlament kann gewählt bleiben, während es sich auf Systeme stützt, die Abgeordnete nicht bewerten können. Ein Minister kann rechtlich verantwortlich bleiben, während er Empfehlungen erhält, die kein Beamter reproduzieren kann. Ein Bürger kann ein formales Widerspruchsrecht behalten, während er einer automatisierten Entscheidung gegenübersteht, deren Daten, Modell, Anbietervertrag und Begründung unzugänglich sind. Nichts in diesem Bild erfordert einen Putsch oder einen bewussten Maschinenherrscher. Autorität wird zeremoniell, weil die praktische Fähigkeit, anders zu wählen, erodiert ist.
Dies ist ein Governance-Risiko, bevor es ein AGI-Risiko ist. Regierungen nutzen bereits Algorithmen bei Sozialleistungen, Besteuerung, Polizeiarbeit, Migration, Bildung, Gesundheitswesen und öffentlicher Verwaltung. Leistungsfähigere Systeme könnten Konsistenz verbessern, Dienstleistungen übersetzen, Betrug aufdecken, Evidenz zusammenfassen und Fachwissen für kleine Behörden zugänglich machen. Sie könnten auch Abhängigkeit vertiefen und öffentliche Entscheidungen schwerer anfechtbar machen.
Bestehende internationale Instrumente liefern ein erstes Vokabular, doch ihre Rechtskraft unterscheidet sich. Die Rahmenkonvention des Europarats über Künstliche Intelligenz ist als verbindlicher Vertrag für die Vertragsparteien konzipiert und stellt Menschenrechte, Demokratie und Rechtsstaatlichkeit in den Mittelpunkt. Ihre offizielle Statusseite verzeichnete zum 11. September 2026 kein Datum des Inkrafttretens, sodass eine Unterzeichnung nicht so beschrieben werden darf, als sei ein Staat bereits rechtlich gebunden (Status CETS Nr. 225). Die UNESCO-Empfehlung zur Ethik der Künstlichen Intelligenz ist eine unverbindliche Empfehlung, die Aufsicht, Transparenz, Rechenschaftspflicht sowie ökologische und soziale Auswirkungen behandelt. Keines der beiden Instrumente löst die Governance nach der AGI. Beide zeigen, dass Fähigkeit und Effizienz nicht die einzigen öffentlichen Werte sind, um die es geht.
Handlungsfähigkeit bedeutet, das Ergebnis ändern zu können
„Menschliche Aufsicht” wird oft als Personaldiagramm behandelt: eine Person irgendwo nach dem Modell platzieren, und schon ist die Entscheidung menschlich. Echte Aufsicht ist ein Bündel von Fähigkeiten.
Der Prüfer braucht genug Zeit und Information, um den Fall zu verstehen. Er braucht Schulung, um die Grenzen des Modells zu erkennen. Er braucht rechtliche und organisatorische Befugnis, die Empfehlung abzulehnen. Eine abweichende Entscheidung darf nicht allein deshalb bestraft werden, weil sie von einem automatisierten Wert abweicht. Die Institution muss Aufzeichnungen führen, die Prüfung und Widerspruch unterstützen.
Fehlen diese Bedingungen, ist ein menschlicher Klick ein Ritual. Hohe Automatisierung kann die Prüfung sogar verschlechtern: Wenn Menschen weniger ungewöhnliche Fälle sehen und weniger unabhängiges Urteilsvermögen üben, verkümmert ihre Fachkompetenz. Wenn das System schließlich außerhalb seiner gewöhnlichen Verteilung versagt, ist der nominelle Aufseher womöglich am schlechtesten vorbereitet einzugreifen.
Der praktische Test ist kontrafaktisch: Kann eine qualifizierte Person zu einer anderen Entscheidung gelangen, sie begründen, und Bestand haben lassen?
Vier Abhängigkeiten, die den Staat aushöhlen können
Anbieterabhängigkeit
Einer Behörde können das Personal, die Rechenkapazität, die Datenrechte oder die Vertragsbedingungen fehlen, um ohne einen bestimmten Anbieter zu funktionieren. Ein Wechsel wirkt in Beschaffungsunterlagen möglich, würde aber ein Neutrainieren von Systemen, eine Datenmigration, ein Neuschreiben von Arbeitsabläufen und eine lange Dienstunterbrechung erfordern. Das verleiht einem privaten Anbieter Einfluss, selbst ohne ausdrückliche politische Macht.
Verträge sollten daher Portabilität, Prüfzugang, Vorfallsmeldung, Subunternehmer, Datenaufbewahrung, Sicherheit, Dienstkontinuität und Unterstützung beim Ausstieg regeln, bevor ein System unentbehrlich wird. Das günstigste Anfangsangebot kann teuer werden, wenn es dauerhafte Abhängigkeit erkauft.
Epistemische Abhängigkeit
Eine Institution kann die Fähigkeit verlieren zu wissen, ob ein Ergebnis gut ist. Führt KI den Großteil von Analyse, Textentwurf, Simulation und Verifikation durch, kann die menschliche Organisation die abschließende Unterschriftsbefugnis behalten und dennoch unabhängige Modelle der Welt verlieren.
Redundanz ist notwendig. Behörden brauchen internes Fachwissen, konkurrierende Analysen für folgenreiche Fragen, Aufzeichnungen über Unsicherheit und geschützte Kanäle für abweichende Meinungen. Manche Funktionen sollten regelmäßig ohne das Hauptsystem ausgeführt werden — nicht weil manuelle Arbeit stets überlegen ist, sondern weil ein ungetesteter Rückfallmodus kein Rückfallmodus ist.
Infrastrukturabhängigkeit
Fortgeschrittene Dienste hängen von Strom, Netzwerken, Identitätssystemen, Cloud-Infrastruktur und vorgelagerten Modellen ab. Ein Ausfall oder ein Handelsstreit kann sich gleichzeitig durch viele öffentliche Funktionen fortpflanzen. Die Konzentration mehrerer Behörden auf ein Modell oder eine Cloud kann korreliertes Versagen erzeugen, das hinter getrennten Verträgen verborgen bleibt.
Abhängigkeitskarten sollten gemeinsame Anbieter und einzelne Fehlerquellen im gesamten Staat identifizieren, nicht nur innerhalb eines Ministeriums. Wiederherstellungsübungen sollten degradierten Betrieb, Datenwiederherstellung, manuelle Priorisierung und öffentliche Kommunikation testen.
Legitimitätsabhängigkeit
Menschen akzeptieren schwierige Entscheidungen teilweise, weil sie verstehen, wer Autorität hat, welche Regeln gelten und wie sich Fehler anfechten lassen. Ein statistisch akkurates, aber undurchschaubares System kann die Legitimität dennoch untergraben, wenn Bürger es als willkürlich erleben.
Erklärung allein genügt nicht. Eine generierte Erklärung kann plausibel klingen, ohne die tatsächliche Grundlage eines Ergebnisses offenzulegen. Bedeutsame Anfechtbarkeit erfordert die relevante Evidenz, die anwendbare Regel, die verantwortliche Institution und den verfügbaren Rechtsbehelf. Sie erfordert außerdem eine menschliche Stelle, die die Entscheidung ändern kann, statt nur zu erklären, warum das System sie hervorgebracht hat.
Demokratie braucht öffentliche technische Kapazität
Parlamente, Gerichte, Regulierungsbehörden, Rechnungsprüfer, Gewerkschaften und die Zivilgesellschaft brauchen Fachwissen in Bewertung, Sicherheit, Beschaffung, Daten-Governance und Modellevidenz. Professionelle Stäbe, unabhängige Labore, Generalinspektoren, Normungsgremien und kontradiktorische Verfahren können diese Tiefe liefern.
Das NIST AI Risk Management Framework bietet eine freiwillige Struktur zur Steuerung, Kartierung, Messung und Handhabung von KI-Risiken. Sein Wert ist prozeduraler Natur: Organisationen müssen Kontext und betroffene Personen identifizieren, statt Benchmark-Genauigkeit als die gesamte Risikobewertung zu behandeln. Eine Institution nach der AGI würde stärkere, durchsetzbare Versionen dieser Gewohnheiten brauchen, gepaart mit demokratischer Legitimation.
Wahlen sind notwendig, aber nicht hinreichend
Transformative KI könnte Demokratie über Überzeugung, synthetische Medien, Überwachung, Politikanalyse, Wahlkampfoperationen und die Kontrolle von Informationsinfrastruktur beeinflussen. Sich nur auf gefälschte Bilder zu konzentrieren, übersieht die größere Frage: Wer wählt die Ziele der Systeme, die politische Aufmerksamkeit vermitteln, und welche Daten werden genutzt, um Einfluss zu optimieren?
Offenlegung kann helfen, doch die Kennzeichnung von Inhalten als „KI-generiert” stellt nicht fest, ob sie wahr oder manipulativ sind. Herkunftsnachweise können Teile der Historie einer Datei zeigen, ohne ihre Behauptungen zu belegen. Politische Widerstandsfähigkeit braucht außerdem Datenschutz, unabhängigen Journalismus, Transparenz bei Wahlkämpfen, Rechenschaftspflicht der Plattformen, sichere Wahlverwaltung und Bürger, die wichtige Informationen über vertrauenswürdige Kanäle überprüfen können.
Staatliche Nutzung verdient besondere Zurückhaltung. Ein Staat mit leistungsfähigen Vorhersage- und Überzeugungssystemen könnte öffentliche Kommunikation hilfreich personalisieren — oder Widerspruch leichter identifizierbar und Verhalten leichter formbar machen. Gesetzliche Verbote, richterliche Anordnungen, Datenminimierung, Prüfprotokolle und unabhängige Aufsicht zählen mit wachsender analytischer Fähigkeit mehr, nicht weniger.
Plurale Machtquellen bewahren
Kein einzelnes Unternehmen sollte die alleinige Quelle öffentlicher Analyse, Identität, Kommunikation und Verwaltungsinfrastruktur sein. Keine Zentralregierung sollte die einzige Institution sein, die fortgeschrittene Fähigkeiten nutzen kann. Kein universelles Bewertungssystem sollte über Zugang zu Beschäftigung, Kredit, Sozialleistungen, Meinungsäußerung und Mobilität entscheiden.
Pluralismus erzeugt Reibung, und Reibung schützt manchmal. Föderale Systeme, lokale Regierungen, Gerichte, unabhängige Regulierungsbehörden, Universitäten, Gewerkschaften, Berufsverbände, offene technische Gemeinschaften und die Zivilgesellschaft können Fehler aufdecken, die ein einziges zentrales System unterdrücken oder übersehen würde. Konkurrierende Institutionen geben Menschen zudem einen Ort, an dem sie Widerspruch einlegen und sich organisieren können.
Pluralismus ist nicht dasselbe wie unkontrollierte Verbreitung. Hochriskante Fähigkeiten können Zugangsbeschränkungen erfordern, während die Entscheidungsfindung institutionell vielfältig bleibt. Das Gestaltungsproblem besteht darin, sowohl privates Monopol als auch vollständige staatliche Zentralisierung zu vermeiden.
Entscheidungen, die politisch anfechtbar bleiben müssen
KI kann öffentliche Entscheidungen informieren, ohne das öffentliche Ziel zu definieren. Fragen wie die Verteilung von Einkommen, welche Risiken akzeptabel sind, wessen Rechte Vorrang haben, ob Gewalt angewendet werden soll, was Kinder lernen sollen, und wie viel Überwachung zulässig ist, sind keine Optimierungsprobleme mit neutralen Zielfunktionen. Es sind politische Entscheidungen zwischen Werten und Menschen.
Die Delegation der Umsetzung kann auch das Ziel selbst umformen. Ein auf kürzere Bearbeitungszeit optimiertes Sozialleistungssystem kann Antragsteller mit komplexen Fällen abschrecken. Ein auf vorhergesagte Vorfälle optimiertes Polizeisystem kann Muster aus der historischen Strafverfolgung verstärken. Ein auf gemessene Kosten optimiertes Gesundheitssystem kann Ergebnisse unterbewerten, die schwer zu erfassen sind. Demokratische Kontrolle erfordert zu prüfen, was ein System tatsächlich belohnt, nicht nur seinen erklärten Zweck abzunicken.
Normativer Vorschlag: eine Mindestgarantie für Handlungsfähigkeit
Für folgenreiche öffentliche Nutzungen sollten Menschen Folgendes feststellen können:
- dass ein KI-System die Entscheidung wesentlich beeinflusst hat;
- die rechtlich verantwortliche Institution und den zuständigen Amtsträger;
- die maßgebliche Regel und die verwendete Evidenz;
- wichtige Einschränkungen, Unsicherheit und Herkunft der Daten;
- eine zeitnahe menschliche Berufung mit der Macht, das Ergebnis zu ändern;
- einen zugänglichen Weg zu einem Gericht, einer Regulierungsbehörde, einem Ombudsmann oder einem gewählten Gremium;
- einen nichtdigitalen Weg für Menschen, die das System nicht sicher nutzen können.
Diese Garantien werden Fehler oder politischen Dissens nicht beseitigen. Sie bewahren den Unterschied zwischen Verwaltung und Beherrschung: Die betroffene Person bleibt Teilnehmer in einem System aus Gründen und Rechtsbehelfen, nicht bloß ein Objekt, das klassifiziert wird.
Die verfassungsrechtliche Frage nach der AGI
Die tiefste Frage ist nicht, ob eine KI einen formalen Regierungstitel erhält. Es ist, ob Menschen und ihre Institutionen die Kompetenz, Unabhängigkeit und den Einfluss behalten, um folgenreiche Systeme zu revidieren. Würde das Entfernen eines einzigen Modells Gesundheitswesen, Finanzwesen, Kommunikation und Regierung zugleich zum Stillstand bringen, böte rechtliche Souveränität wenig praktischen Trost.
Demokratisches Überleben nach transformativer KI hängt daher von Kapazität ab, die aufgebaut wird, bevor die Abhängigkeit vollständig wird: öffentliches Fachwissen, interoperable Infrastruktur, durchsetzbare Rechte, plurale Institutionen, unabhängige Evidenz, bedeutsame Rechtsbehelfe und erprobte Wege, um zu funktionieren, wenn automatisierte Empfehlungen nicht verfügbar sind oder abgelehnt werden. Das sind keine technikfeindlichen Maßnahmen. Es ist die Maschinerie, die einer Gesellschaft erlaubt, mächtige Technologie zu nutzen, ohne die Fähigkeit aufzugeben, ihre eigenen Ziele zu wählen.