Ein Skalierungsgesetz ist eine empirische Beziehung
Im maschinellen Lernen beschreibt ein Skalierungsgesetz, wie sich eine gemessene Größe verändert, während ein Input wächst. Bei großen Sprachmodellen fanden Forscher heraus, dass sich der Trainingsverlust oft auf relativ glatte, vorhersagbare Weise verbessert, während Modellgröße, Trainingsdaten und Rechenleistung zunehmen. OpenAIs Arbeit von 2020 berichtete von Potenzgesetz-Beziehungen über die getesteten Bereiche hinweg (Kaplan et al.). DeepMinds spätere „Chinchilla“-Studie zeigte, dass bei einem festen Rechenbudget viele Modelle mit zu wenig Daten trainiert worden waren und dass Parameter und Trainings-Token gleichmäßiger gemeinsam skaliert werden sollten (Hoffmann et al.).
Diese Ergebnisse waren wichtig, weil sie teure Trainingsläufe vorhersagbarer machten. Ein Labor konnte kleinere Experimente durchführen, abschätzen, wie sich der Verlust bei größerem Maßstab verändern würde, und ein Budget auf Daten, Parameter und Rechenleistung verteilen. Aber das Gesetz beschreibt Messungen innerhalb eines beobachteten Regimes. Es ist keine physikalische Garantie, dass sich jede Fähigkeit unbegrenzt verbessern wird oder dass genügend Grafikprozessoren automatisch AGI hervorbringen.
Rechenleistung ist nur eine Zutat
„Rechenleistung“ (Compute) bedeutet meist die Anzahl der numerischen Operationen, die beim Training oder bei der Inferenz verwendet werden, aber selbst diese Abkürzung verbirgt wichtige Unterschiede. Zwei Trainingsläufe mit denselben nominellen Operationen können unterschiedliche Systeme hervorbringen, aufgrund von Chip-Auslastung, numerischer Präzision, Datenqualität, Architektur, Optimierung und Software. Algorithmische Verbesserungen können bessere Leistung aus derselben Hardware herausholen. Feinabstimmung, Retrieval, Werkzeuge, Gedächtnis und Agenten-Gerüste können das eingesetzte Verhalten nach dem Vortraining wesentlich verändern.
Daten zählen sowohl in Menge als auch in Zusammensetzung. Duplizierte, minderwertige oder kontaminierte Beispiele sind nicht gleichwertig mit sorgfältig ausgewählten Informationen. Synthetische Daten können einen Korpus erweitern oder gezielt ergänzen, aber Fehler können verstärkt werden, wenn Erzeugung und Filterung mangelhaft sind. Datenrechte, Datenschutz, Sprachabdeckung und Repräsentation beeinflussen ebenfalls, was ein Modell lernt.
Rechenleistung zur Inferenzzeit fügt eine weitere Dimension hinzu. Manche Systeme wenden mehr Operationen auf, um Zwischenkandidaten für einen schwierigen Prompt zu erzeugen und zu prüfen. Das kann die Leistung verbessern, ohne das vortrainierte Modell zu verändern, erhöht aber Kosten und Latenz und garantiert keine Korrektheit. Eine vollständige Diskussion über Skalierung braucht heute mindestens Trainings-Rechenleistung, Inferenz-Rechenleistung, Daten, Algorithmen und das umgebende System.
Verlustkurven sind keine Fähigkeitskurven
Der Trainingsverlust misst den vorhergesagten Fehler, gemittelt über enorme Datensätze. Eine glatte Verringerung des Verlusts kann uneinheitliche Veränderungen bei menschenbezogenen Aufgaben begleiten. Ein Benchmark kann eine Schwelle zeigen, weil eine latente Verbesserung endlich ihre Bestehensmarke überschreitet, weil das Modell mehrere erforderliche Teilfähigkeiten lernt, oder weil die Bewertung graduellen Fortschritt in ein binäres Ergebnis umwandelt. Andere Fähigkeiten können sich gleichmäßig verbessern, stagnieren oder sich nach Sicherheitsfeinabstimmung oder Systemänderungen verschlechtern.
Diese Unterscheidung verhindert zwei entgegengesetzte Fehler. Der erste ist die Annahme, dass eine vorhersagbare Verlustkurve jedes zukünftige Verhalten vorhersagbar macht. Das ist nicht der Fall. Der zweite ist die Behauptung, dass alle Fähigkeitsgewinne mysteriöse Diskontinuitäten sind. Viele scheinbar abrupte Benchmark-Gewinne werden glatter, wenn Forscher kontinuierliche Metriken oder aussagekräftigere Tests verwenden (Schaeffer, Miranda und Koyejo, 2023). Sowohl Unsicherheit als auch teilweise Vorhersagbarkeit können zutreffen.
Skalierung interagiert auch mit dem Bewertungsdesign. Öffentliche Tests können sättigen oder in Trainingsdaten durchsickern. Ein Modell kann sich beim Testablegen verbessern, ohne einen gleichwertigen Gewinn an Zuverlässigkeit in der realen Welt. Umgekehrt können bestehende Benchmarks nützliche Fähigkeiten übersehen. Mehrere Bewertungen, private Aufgaben, Überprüfung durch menschliche Experten und Einsatz-Evidenz sind nötig, um zu interpretieren, was die Verlustreduktion tatsächlich erkauft hat.
Wo sich der Trend biegen kann
Physische Kapazität ist nicht unbegrenzt. Frontier-Training und -Bereitstellung hängen von fortschrittlichen Chips, Speicher mit hoher Bandbreite, Netzwerken, Elektrizität, Kühlung, Grundstücken, Bauarbeiten und Lieferketten ab. Die Internationale Energieagentur erwartet, dass die Stromnachfrage von Rechenzentren bis 2030 erheblich steigen wird, betont dabei aber Unsicherheit und starke geografische Konzentration (IEA, Energy and AI). Lokale Verzögerungen im Stromnetz können selbst dann relevant sein, wenn die globale Energie ausreicht.
Hochwertige menschlich erzeugte Daten sind ebenfalls endlich, obwohl die Auswirkung dieser Beschränkung von neuen Datenquellen, multimodalem Training, synthetischen Daten und effizienterer Nutzung bestehender Korpora abhängt. Wirtschaftliche Grenzen könnten vor technischen eintreten: Ein größeres Modell muss genug Wert schaffen, um Training, Bereitstellung und Opportunitätskosten zu rechtfertigen. Latenz und Speicherbandbreite können Produkte einschränken, selbst wenn aggregierte Operationen verfügbar sind.
Abnehmende Erträge sind in Skalierung eingebaut. Ein Potenzgesetz kann fortbestehen, während jede zusätzliche Verbesserung viel mehr Aufwand erfordert. Das bedeutet nicht, dass der Fortschritt stoppt, aber es verändert die Ökonomie. Eine neue Architektur oder ein neuer Algorithmus kann die Kurve verschieben, während Sicherheit, Zuverlässigkeit oder Verkörperung Fortschritte erfordern könnten, die vom Verlust bei der Nächste-Token-Vorhersage nicht erfasst werden. Niemand kann allein aus den gegenwärtigen Skalierungsgesetzen ableiten, wo diese Durchbrüche stattfinden werden.
Warum Rechenleistung ein Governance-Hebel bleibt
Trotz dieser Vorbehalte ist fortschrittliche Rechenleistung ungewöhnlich physisch und konzentriert. Spitzenchips werden über eine enge globale Lieferkette gefertigt, und die größten Trainingscluster erfordern sichtbares Kapital, Strom und Vernetzung. Regierungen nutzen daher Chip-Exportkontrollen, Meldepflichten und Rechenzentrumsregeln als Stellvertreter für Frontier-Fähigkeit. Rechenleistung kann leichter zu überwachen sein als Algorithmen oder kopierte Software.
Der Stellvertreter ist unvollkommen. Schwellenwerte können veralten, während Algorithmen effizienter werden. Verteiltes Training und verteilte Inferenz erschweren die Buchführung. Eine Rechenleistungsregel kann legitime Forschung belasten, große etablierte Akteure zementieren oder Umgehung fördern, wenn sie schlecht formuliert ist. Trainings-Rechenleistung übersieht auch fähige Systeme, die durch Feinabstimmung, Werkzeugnutzung oder viele Inferenzaufrufe zusammengesetzt werden. Wirksame Politik sollte Schwellenwerte aktualisieren, Effizienz berücksichtigen, Datenschutz schützen und Pflichten auf Risiko statt auf Operationen als Schaden ausrichten.
Rechenleistungs-Governance ist am stärksten, wenn sie mit Fähigkeitsbewertung gepaart wird. Rechenleistung kann Läufe identifizieren, die eine genaue Prüfung verdienen; Bewertungen können testen, ob ein resultierendes System eine gefährliche Fähigkeitsschwelle überschreitet; Einsatzüberwachung kann Missbrauch und Fehlschläge aufdecken. Keine einzelne Kennzahl sollte die gesamte regulatorische Last tragen.
Skalierung klärt keine AGI-Zeitpläne
Rasante Investitionen sind Evidenz dafür, dass Entwickler Erträge von größeren und effizienteren Systemen erwarten. Historische Skalierung ist Evidenz dafür, dass zusätzliche Ressourcen die gemessene Leistung oft verbessert haben. Keines von beiden beweist ein Datum für AGI. Prognosen müssen Hardware, Energie, Daten, Algorithmen, Inferenz, Zuverlässigkeit und die Definition von AGI selbst modellieren.
Behauptungen, dass „die Skalierung gestoppt hat“, müssen angeben, welche Metrik und welches System gemeint sind. Behauptungen, dass „Skalierung alles ist, was man braucht“, müssen zeigen, dass die verbleibenden Lücken auf denselben Trend zurückführbar sind. Zwischen diesen Slogans liegt die vertretbare Position: Skalierungsgesetze gehören zu den nützlichsten empirischen Regelmäßigkeiten der modernen KI, aber sie sagen Durchschnitte innerhalb von Regimen besser voraus als qualitative gesellschaftliche Folgen.
Was Leser fragen sollten
Wenn ein neues Modell auf Skalierung zurückgeführt wird, sollte man fragen, welche Ressource um wie viel gegenüber welcher Ausgangsbasis zugenommen hat. War der Vergleich rechenoptimal? Änderten sich Daten oder Algorithmen? Bezieht sich der berichtete Gewinn auf den Trainingsverlust, einen Benchmark, Expertenarbeit oder ein Einsatzergebnis? Wie sahen Zuverlässigkeit und Kosten aus? Sind die Ergebnisse unabhängig reproduzierbar?
Diese Fragen bewahren die eigentliche Lehre der Skalierungsgesetze, ohne sie zur Mythologie zu machen. Mehr Rechenleistung hat wiederholt bessere Modelle ermöglicht. Sie ist ein wichtiger industrieller Input und ein praktischer Ansatzpunkt für Aufsicht. Sie ist keine universelle Einheit von Intelligenz, keine Garantie sicheren Verhaltens und kein Countdown zur AGI.