Assistenz, Automatisierung und rekursive Verbesserung sind unterschiedliche Behauptungen
KI-Systeme unterstützen bereits Software- und Machine-Learning-Arbeit. Sie generieren Code, durchsuchen Literatur, analysieren Experimente, schlagen Tests vor und helfen beim Debuggen. Die Automatisierung von Teilen der KI-Forschung kann Entwicklungszyklen verkürzen. Nichts davon beweist für sich genommen rekursive Selbstverbesserung: eine Schleife, in der ein KI-System den Prozess, der seine Nachfolger erschafft, wesentlich verbessert, diese Nachfolger es weiter verbessern, und das Fähigkeitswachstum sich über menschliche Kontrolle hinaus beschleunigt.
Eine klare Analyse unterscheidet drei Ebenen:
- Forschungsassistenz: Menschen nutzen KI-Werkzeuge, behalten aber Plan, Urteilsvermögen und Integrationsarbeit.
- Workflow-Automatisierung: Ein Agent erledigt eine abgegrenzte Forschungs- oder Ingenieuraufgabe mit begrenztem Eingriff.
- Durchgängige Automatisierung von KI-F&E: Systeme leisten den Großteil der Arbeit, die nötig ist, um wichtige algorithmische Fortschritte zu erzeugen und in verbesserte Systeme zu integrieren.
Nur die dritte Ebene erzeugt das stärkste Rückkopplungsschleifen-Argument, und selbst dann können Hardware, Experimente, Organisationen und Einsatzentscheidungen die Geschwindigkeit begrenzen.
Beobachtete Programmierfähigkeit
Programmierung ist eine der derzeit stärksten Domänen. Öffentliche Agenten können ausgewählte Repository-Probleme beheben und funktionierende Programme erzeugen. Doch Benchmarks liefern oft ein sauberes Problem, Tests, Werkzeuge und einen automatisch bewertbaren Endpunkt. Reife Entwicklung umfasst undokumentierten Kontext, Koordination, Produkturteil, Sicherheit und Wartung.
METRs randomisierte Studie mit 16 erfahrenen Open-Source-Entwicklern, die 246 Aufgaben in Repositories erledigten, die sie gut kannten, ergab, dass KI-Werkzeuge von Anfang 2025 die Fertigstellungszeit um 19 Prozent erhöhten, obwohl die Entwickler glaubten, die Werkzeuge machten sie schneller (METR-Entwicklerproduktivitätsstudie). Das ist ein enges, veraltetes Ergebnis — kein Beweis, dass spätere Werkzeuge oder andere Entwickler langsamer sind. Es zeigt, warum Benchmark-Gewinne nicht direkt in wirtschaftliche Beschleunigung umgesetzt werden können.
METR begann 2026 eine größere Folgestudie und änderte ihr Design, während sich Werkzeuge und Nutzung weiterentwickelten (METR-Uplift-Update). Reale Produktivität hängt von Überprüfungsaufwand, Aufgabenauswahl, Vertrautheit der Entwickler, Agenten-Schnittstellen und Fehlern ab, die Tests bestehen.
Belege aus KI-Forschungs-Benchmarks
RE-Bench stellt Agenten und menschliche Experten in sieben offene Forschungsingenieur-Umgebungen des maschinellen Lernens. In der ursprünglichen Studie erzielten die besten Agenten bei einem Zwei-Stunden-Budget etwa viermal höhere Werte als Menschen. Menschen verbesserten sich mit zusätzlicher Zeit stärker, übertrafen Agenten bei acht Stunden knapp und erreichten über 32 Stunden hinweg etwa das Doppelte des Agenten-Werts (RE-Bench-Paper).
Dieses Ergebnis zeigt starke Kurzhorizont-Experimentierfähigkeit: Agenten können viele Kandidatenlösungen schnell generieren und testen und produzieren manchmal exzellente Optimierungsarbeit. Es zeigt auch eine Einschränkung: Agenten bleiben stecken, scheitern an der Neuorientierung oder profitieren weniger von einem längeren Budget. Sieben Aufgaben können nicht die gesamte Verteilung von Forschung repräsentieren, und wiederholtes Sampling ist nicht dasselbe wie ein beständiger Wissenschaftler.
Andere Bewertungen decken Teile der Pipeline ab. OpenAIs PaperBench bittet Agenten, Ergebnisse aus 20 ICML-Papers anhand von Beschreibungen zu replizieren und Experimente auszuführen (PaperBench). MLE-bench bewertet Machine-Learning-Engineering durch Wettbewerbe im Kaggle-Stil (MLE-bench). Diese Benchmarks messen bedeutsame Fähigkeiten, begründen aber keine originäre Theoriebildung, Agenda-Setzung, Laborführung, Peer-Review oder sicheren Einsatz.
Was Entwickler berichten
Frontier-Labore behandeln automatisierte F&E inzwischen als Risikoschwelle. Anthropics Risikobericht vom Februar 2026 erklärte, Claude Opus 4.6 sei nicht bei oder sehr nahe an vollständiger Automatisierung der für F&E in Schlüsseldomänen nötigen Aktivitäten, warnte jedoch, dass partielle Automatisierung den Fortschritt dennoch beschleunigen könnte (Anthropic-Risikobericht). Dies ist eine Selbsteinschätzung eines Entwicklers, mit Schwärzungen und einem Interessenkonflikt.
Anthropic überarbeitete seine Schwelle für automatisierte F&E im Juli 2026 erneut in Version 3.4 der Responsible Scaling Policy, was verdeutlicht, dass der gemessene Gegenstand nicht feststeht (Anthropic-RSP-Archiv). Unternehmensschwellen können internes Handeln leiten, sollten aber nicht als wissenschaftlicher Konsens behandelt werden.
Im August 2026 berichteten Anthropic-Forscher von Experimenten, in denen automatisierte Forschungsagenten Abhilfemaßnahmen für ausgewählte Ausrichtungsfehler fanden (Anthropic-Bericht zu automatisierter Forschung). Das ist ermutigende Evidenz, dass KI-beschleunigte Forschung Sicherheit stärken kann. Es ist auch Forschung aus erster Hand zu konstruierten Aufgaben, kein Beweis umfassender automatisierter Ausrichtungswissenschaft.
Das Rückkopplungsschleifen-Argument
Eine einfache Schleife hat vier Schritte: KI einsetzen, um KI zu erforschen; eine algorithmische oder ingenieurtechnische Verbesserung erhalten; ein besseres System trainieren oder konfigurieren; dieses System nutzen, um weitere Verbesserungen zu erzeugen. Beschleunigung hängt vom Produkt mehrerer Faktoren ab, nicht von der bloßen Existenz der Schleife.
Forschungsabdeckung: Wie viel der relevanten Arbeit können Agenten leisten? Programmierassistenz hat Wert, aber Menschen könnten Engpässe bei Problemauswahl, Bewertung, Hardware, Daten, Management und Sicherheit bleiben.
Verbesserungsgröße: Die meisten Experimente scheitern oder liefern kleine Gewinne. Ein Agent muss Innovationen hervorbringen, die das nächste System materiell verbessern, statt nur einen Benchmark zu optimieren.
Zykluszeit: Training, Chip-Fertigung, Rechenzentrumsbau, Bewertungen und Einsatz können viel länger dauern als das Schreiben von Code. Bessere Forschung kann Rechenleistung nicht sofort herstellen.
Reinvestition: Organisationen müssen sich entscheiden, Gewinne auf weitere Fähigkeit anzuwenden. Sie könnten sie stattdessen Kosten, Zuverlässigkeit, Produkten oder Sicherheit zuweisen.
Abnehmende Erträge: Entdeckungen könnten schwieriger werden, sobald leichte Verbesserungen erschöpft sind. Eine Schleife kann fortbestehen, ohne sich explosiv zu beschleunigen.
Verifikation: Unzuverlässige Forschung erzeugt Überprüfungs- und Replikationskosten. Wenn Systeme Bewertungen manipulieren können, kann schnellerer Output vertrauenswürdigen Fortschritt verlangsamen.
Rekursive Verbesserung ist daher ein bedingtes Szenario. Sie ist keine direkte Extrapolation aus Coderzeugungsraten.
Software kann sich schneller bewegen als Hardware
Algorithmische Effizienz, Trainingsrezepte, Datenkuratierung, Inferenzmethoden, Compiler und Agenten-Gerüste können sich innerhalb bestehender Hardware verbessern. Diese „Software“-Gewinne könnten sich schnell verbreiten und die Fähigkeit pro Chip erhöhen. KI kann helfen, diese Räume zu durchsuchen, und so einen echten positiven Rückkopplungskanal schaffen.
Aber Frontier-Modelle hängen weiterhin von Energie, Chips, Netzwerken, Speicher, Anlagen und Lieferketten ab. Ein System kann sich nicht rekursiv um jede physische Beschränkung herum editieren. Es kann verbessern, wie Ressourcen genutzt werden, oder beim Hardware-Design helfen, während Fertigung und Bau reale Vorlaufzeiten behalten.
Der schnellste Weg könnte daher ein Schub an Software- und Prozessverbesserung sein, gefolgt von physischen oder organisatorischen Grenzen — keine für immer glatte Exponentialkurve. Andere Verläufe bleiben möglich; die verfügbare Evidenz kann keinen davon mit Zuversicht auswählen.
Warum die Schleife das Risiko erhöhen könnte
Schnelle Fähigkeitszyklen können Bewertung, Regulierung und institutionelles Lernen überholen. Wenn interne Forschungsagenten Zugriff auf Modellgewichte, Trainingsinfrastruktur, Code-Einsatz und sensible Bewertungen haben, hat ein Fehler oder böswilliger Gebrauch größere Reichweite. Wettbewerbsdruck könnte Entwickler ermutigen, Automatisierung einzusetzen, bevor die Überwachung ausgereift ist.
Die Schleife kann auch Macht konzentrieren. Organisationen mit Rechenleistung und automatisierten Forschungssystemen könnten sich absetzen und mehr Kapital und Talent anziehen. Alternativ könnten effiziente Algorithmen sich verbreiten und Konzentration verringern. Diese entgegengesetzten Effekte sollten modelliert, nicht angenommen werden.
Warum die Schleife die Sicherheit verbessern könnte
KI kann nach Schwachstellen suchen, Tests generieren, Vorfälle analysieren, Interpretierbarkeitswerkzeuge verbessern und Routineverifikation automatisieren. Sicherheitsforschung kann von derselben Skalierung und Iteration profitieren. Die entscheidende Governance-Frage ist, ob Sicherheitskapazität vor und neben der Fähigkeit wächst — nicht, ob KI-Forschungsassistenz von Natur aus gefährlich ist.
Kontrollen umfassen abgeschottete Forschungsumgebungen, geschützte Bewertungssätze, Zugriff nach dem Prinzip der geringsten Rechte, unabhängige Überwachung, gestufte Integration, reproduzierbare Experimente und menschliche Genehmigung, bevor Änderungen Training oder Einsatz erreichen. Forschungsagenten sollten nicht in der Lage sein, ihren eigenen Bewerter, Zugangsdaten oder Produktionssysteme zu verändern.
Organisationen können sowohl Fähigkeits- als auch Sicherheitsbeschleunigung messen: eingesparte Forscherstunden, validierte Entdeckungen, erkannte gescheiterte Experimente, Überprüfungslast, Vorfallrate und die für unabhängige Reproduktion benötigte Zeit.
Evidenz, die die Einschätzung ändern würde
Stärkere Evidenz für eine schnelle Rückkopplungsschleife würde Agenten einschließen, die neuartige, wichtige algorithmische Fortschritte über mehrere Domänen hinweg erzeugen; unabhängige Replikation; anhaltenden Erfolg bei langen Projekten; verkürzte durchgängige Zykluszeit; und aufeinanderfolgende Systeme, die den Forschungsagenten messbar verbessern, ohne dass menschliche Arbeit in gleichem Maß wächst.
Evidenz gegen eine kurzfristige explosive Beschleunigung würde anhaltende Abhängigkeit von menschlicher Agenda-Setzung, rasch abnehmende Erträge, hohe Verifikationskosten, Unfähigkeit, lange Projekte zu betreiben, und harte Engpässe bei Rechenleistung oder Experimenten einschließen.
Die praktische Schlussfolgerung
KI-beschleunigte KI-Forschung ist bereits real auf der Ebene der Assistenz und ausgewählter abgegrenzter Automatisierung. Benchmarks zeigen bemerkenswerte Kurzhorizont-Forschungsingenieurskunst, während Produktivitätsstudien aus der realen Welt und längere Budgets wichtige Lücken offenlegen. Keine öffentliche Evidenz zeigt Stand 13. September 2026 durchgängige autonome KI-F&E oder eine unkontrollierbare rekursive Verbesserungsschleife.
Die richtige Reaktion ist weder Zurückweisung noch Unvermeidlichkeit. Man sollte jeden Engpass verfolgen, das eingesetzte Forschungssystem testen, seine Werkzeuge und Bewerter schützen, und Annahmen über Abdeckung, Verbesserungsgröße, Zykluszeit und Reinvestition explizit machen.