Situation report active Rev. 2026.9 119 reports 239 source records updated
Real Life After AGI Das Überlebens-Briefing für die Menschheit
DE

Wie Foundation-Modelle der AGI-Ära verändern, was ein Roboterkörper kann

Wie die KI-Methoden hinter dem AGI-Fortschritt auf Roboterkörper wirken und handkodierte Steuerung durch breitere, noch begrenzte Generalisierung ersetzen.

Written by
Dwight Ringdahl
Status
Quellen geprüft
Revised
Sources
16 cited
Reading
6 min

Zwei unterschiedliche Wetten darüber, wie ein Roboter lernen sollte

Klassische Robotik baut eine Aufgabe von Hand: Wahrnehmungsmodule, ein Planer, ein Löser für inverse Kinematik, ein Zustandsautomat, und Tausende Zeilen Steuerungscode, abgestimmt auf einen Roboter, einen Greifer, eine enge Auswahl von Objekten. Sie bietet etwas Wertvolles — formale Garantien darüber, was das System tun wird und was nicht —, aber sie überträgt sich nicht. Eine neue Aufgabe, oder ein neuer Roboterarm, bedeutet meist, einen Großteil des Stacks neu zu schreiben.

Die Wette, die das Feld seit 2023 umgestaltet, ist anders: Dasselbe Rezept, das große Sprachmodelle hervorbrachte — riesige Datensätze, ein Transformer, und Skalierung — sollte auch für Robotersteuerung funktionieren und eine allgemeine „Mannigfaltigkeit“ für physische Fähigkeit entdecken, so wie es eine für Text und Bilder entdeckte. Das ist eine Hypothese, keine feststehende Tatsache, und die Evidenz bisher ist wirklich gemischt. Diese Seite legt dar, was tatsächlich demonstriert wurde, von wem, und welche Probleme laut den Erbauern dieser Systeme noch offen sind.

Die erste Evidenz: Aktions-Token und Roboter-übergreifender Transfer

Google DeepMinds RT-2, veröffentlicht im Juli 2023, war ein früher, konkreter Test der Idee. Statt ein separates Aktionsvorhersagemodul zu bauen, trainierte DeepMind Roboter-Aktions-Token direkt in das eigene Ausgabevokabular eines Vision-Language-Modells hinein, sodass dasselbe Netzwerk, das ein Bild in Worten beschreibt, auch einen Motorbefehl ausgeben kann (arXiv:2307.15818). Über 6.000 Bewertungsversuche hinweg generalisierte es auf unbekannte Objekte und Umgebungen etwa dreimal besser als frühere aufgabenspezifische Basislinien — Evidenz dafür, dass webweites visuelles und sprachliches Wissen tatsächlich für Manipulation nützliche Informationen mitträgt.

Drei Monate später ging eine Kooperation von 34 Institutionen mit RT-X und dem Open-X-Embodiment-Datensatz weiter, indem sie Daten von Dutzenden verschiedener Robotertypen bündelte und ein einzelnes Modell mit 55 Milliarden Parametern über alle hinweg trainierte (arXiv:2310.08864). Es zeigte materiell höheren Erfolg emergenter Fähigkeiten als eine Version derselben Architektur mit 5 Milliarden Parametern — ein frühes Signal, dass Skalierung speziell den Transfer über unterschiedliche Roboterkörper hinweg antreibt, nicht nur innerhalb eines einzigen.

Ein überfülltes Feld von Foundation-Modellen für Körper

Dieses Ergebnis löste eine Welle firmengebauter „Roboter-Foundation-Modelle“ aus, jedes mit einer anderen Architektur und jedes mit Behauptungen, die als Unternehmensbehauptungen gelesen werden sollten, nicht als unabhängig verifizierte Tatsache.

Physical Intelligences π0 (Oktober 2024) kombinierte das PaliGemma-Vision-Language-Modell mit einem Flow-Matching-Aktionskopf, trainiert über acht Roboterverkörperungen, und demonstrierte Aufgaben wie Wäsche falten, einen Tisch abräumen und Lebensmittel einpacken. Ungewöhnlich für dieses Feld veröffentlichte Physical Intelligence die Gewichte und den Code als „openpi“ quelloffen, wodurch das Ergebnis unabhängig reproduzierbar wurde, statt auf Vertrauensbasis angenommen zu werden. Trotzdem war die eigene Einschätzung des Unternehmens unverblümt: „generalistische Roboterrichtlinien stecken noch in den Kinderschuhen, und wir haben einen langen Weg vor uns“ (Physical-Intelligence-Blog, 31. Okt. 2024). Eine neuere Version, π0.7, behauptet Zero-Shot-Generalisierung über Roboterverkörperungen hinweg (arXiv:2604.15483), aber zum Zeitpunkt dieses Schreibens beruht diese Behauptung auf einem Preprint, das nicht unabhängig repliziert wurde.

NVIDIA veröffentlichte GR00T N1 im März 2025 als erstes offenes humanoides Foundation-Modell, dann GR00T N1.7 im April 2026: ein Modell mit 3 Milliarden Parametern, trainiert mit 20.854 Stunden egozentrischen menschlichen Videos, validiert auf drei unterschiedlichen Roboterplattformen, mit offenen Gewichten auf Hugging Face. NVIDIA berichtete, dass die etwa zwanzigfache Skalierung dieser egozentrischen Trainingsdaten „die durchschnittliche Aufgabenerledigung mehr als verdoppelt“ bei geschickten Aufgaben — eine Behauptung, die es wert ist, als NVIDIAs eigene markiert zu werden, da kein unabhängiger Benchmark sie begleitet (Hugging-Face-Blog, 17. Apr. 2026). Ein Nachfolger, GR00T N2, wurde auf der GTC im März 2026 als „Weltaktionsmodell“ vorgestellt, das zukünftige Zustände vorhersagt, bevor es handelt; NVIDIAs Keynote-Behauptung, es gelinge bei neuartigen Aufgaben „mehr als doppelt so oft“ wie führende Basislinien, bleibt Stand September 2026 eine unveröffentlichte Produktbehauptung statt einer getesteten.

Google DeepMinds Nachfolger von RT-2, Gemini Robotics 2 (auch ER 2 genannt), bewegte sich von Demonstrationen des Oberkörpers zu vollständiger humanoider Ganzkörpersteuerung auf Apptroniks Apollo 2, einschließlich der Steuerung einer fünffingrigen Hand mit 22 Freiheitsgraden für Aufgaben wie Knoten binden und Beutel verschließen. DeepMinds eigene offengelegte Zahlen sind die offenherzigsten im Feld: 45,7–76,3 % Erfolg bei Ganzkörpermanipulation und ein stark variables 32–92 % bei Multifinger-Geschicklichkeit, wobei DeepMind unverblümt feststellt, dass „geschickte Multifinger-Manipulation weiterhin herausfordernd bleibt“ (DeepMind-Blog, 30. Jul. 2026). Bloombergs eigene Schlagzeile zur Veröffentlichung formulierte es noch direkter: Googles Roboter „kämpfen mit Geschicklichkeit“ (Bloomberg).

Der klarste Vorher-Nachher-Vergleich: Figures Helix 02

Die eindeutigste Illustration dessen, was sich unter diesem Ansatz ändert, kommt von Figure. Ihr ursprüngliches Helix-System (Februar 2025) nutzte eine zweiteilige „System 1 / System 2“-Architektur: ein Vision-Language-Modell mit 7 Milliarden Parametern, das mit 7–9 Hz denkt, speist einen Transformer mit 80 Millionen Parametern, der Feinmotorik-Steuerung mit 200 Hz ausführt, trainiert mit nur etwa 500 Stunden Daten — Figure sagt, unter 5 % der Größe früherer VLA-Datensätze (Figure-Blog, 20. Feb. 2025).

Helix 02, veröffentlicht im Januar 2026, fügte eine dritte Ebene hinzu, die Figure „System 0“ nennt: einen Ganzkörper-Gleichgewichtscontroller mit 10 Millionen Parametern und 1 kHz, vollständig in Simulation trainiert über mehr als 200.000 Umgebungen plus über 1.000 Stunden neu zugeordneter menschlicher Bewegung. Figures eigene Beschreibung dessen, was das ersetzte, ist der schärfste Alt-gegen-Neu-Vergleich, der irgendwo in diesem Feld verfügbar ist: System 0 „ersetzt 109.504 Zeilen handgefertigten C++-Codes durch ein einziges neuronales Prior für stabile, natürliche Bewegung“ (Figure-Blog, 27. Jan. 2026). Das ist das klassische Robotik-Paradigma — aufgezählte, handabgestimmte Steuerungslogik — die im eigenen Bericht eines Unternehmens vollständig durch ein gelerntes Modell ersetzt wird. Figure demonstrierte eine vierminütige Aufgabe mit 61 Aktionen zum Beladen einer Spülmaschine ohne menschlichen Reset, wobei sie in derselben Veröffentlichung warnte, dass „die Ergebnisse früh“ seien.

Boston Dynamics und das Toyota Research Institute berichten von einem verwandten, aber gemäßigteren Befund aus der Arbeit an „Large Behavior Models“ am humanoiden Atlas: Fähigkeiten, die früher Handprogrammierung erforderten, können nun ohne neuen Code hinzugefügt werden, da ein Modell den gesamten Roboter direkt steuert (Boston-Dynamics-Blog, Aug. 2025). Eine Folgestudie von 2026 fand, dass nach aufgabenspezifischer Feinabstimmung ein vortrainiertes Verhaltensmodell etwa 3- bis 5-mal weniger aufgabenspezifische Daten benötigte und robuster gegenüber wechselnden Bedingungen war als Training von Grund auf (TRI) — ein realer, begrenzter Effizienzgewinn, keine Evidenz offener Allgemeinheit.

Teslas Optimus-Programm ist der klarste Ausreißer des Feldes in Sachen Transparenz. Elon Musk und Ashok Elluswamy, der Optimus im Juni 2025 übernahm, beschreiben dieselbe „Photonen rein, Steuerbefehle raus“-Ende-zu-Ende-Architektur, die Tesla für seine Fahrassistenzsoftware verwendet. Anders als DeepMind, NVIDIA, Physical Intelligence oder Figure hat Tesla kein technisches Paper zu dieser Architektur veröffentlicht — nur Konferenzäußerungen und Kommentare in Ergebnistelefonkonferenzen (Not a Tesla App, Zusammenfassung von Teslas Q2-2026-Ergebnistelefonkonferenz, Aug. 2026).

Enge Rekorde sind keine allgemeine Kompetenz

Die World Humanoid Robot Games in Peking (22.–26. August 2026) machen die Unterscheidung zwischen enger und allgemeiner Fähigkeit konkret. Unter 2.056 Robotern von 666 Teams lief eine Maschine, Tiangong Ultra, die 100 Meter in 8,64 Sekunden — schneller als Usain Bolts menschlicher Weltrekord von 9,58 Sekunden. Beim selben Turnier beschrieb die Berichterstattung über Fußball-, Box- und Gewichtheben-Wettbewerbe Roboter, die in unstrukturierten, kontaktreichen Bedingungen kämpften (Al Jazeera). Ein wiederholbarer, konstruierter Sprint ist nicht dieselbe Errungenschaft wie flexible Kompetenz in einer unvorhersehbaren Umgebung, und die Spiele illustrieren diese Lücke in derselben Woche statt abstrakt.

Die erdende Sichtweise

Vincent Vanhoucke, der die Robotik bei Google DeepMind leitet, bietet den schärfsten verfügbaren Realitätscheck zu diesem gesamten Trend: „die meisten — wenn nicht alle — Ansätze des Roboterlernens können für keine praktische Aufgabe eingesetzt werden“, weil realer Einsatz „99,X Prozent oder höhere Genauigkeit und Zuverlässigkeit“ erfordert, während akademische Demonstrationen etwa 80 % Erfolg berichten — in seinen Worten „ein grundlegend anderes Biest“, kein Skalierungsproblem, das mit mehr Daten zu lösen wäre (IEEE Spectrum, 28. Mai 2024).

Rodney Brooks, der Robotiker am MIT, der iRobot und Rethink Robotics mitgründete, drängt weiter darauf, warum Video-Imitationstraining insbesondere das falsche Substrat sein könnte: Berührung umfasst einen Kanal, den aktuelle Pipelines nie erfassen, wobei die von ihm zitierte Neurowissenschaftsforschung mindestens fünfzehn unterschiedliche Familien berührungssensierender Neuronen in menschlicher Haut identifiziert. Er nennt heutige Manipulationsdemonstrationen früh und begrenzt, und weist Behauptungen, Humanoide würden innerhalb von Jahrzehnten menschenähnliche allgemeine Geschicklichkeit erreichen, als „reines Fantasiedenken“ zurück (TechCrunch, 26. Sept. 2025).

Beides ist gleichzeitig wahr. Der Foundation-Modell-Ansatz hat echten, gemessenen Roboter-übergreifenden Transfer hervorgebracht, den handkodierte Steuerung nie erreichte, und jedes glaubwürdige Labor, das Zahlen veröffentlicht — nicht nur Skeptiker — berichtet Erfolgsraten, die deutlich unter dem liegen, was industrielle und häusliche Zuverlässigkeit tatsächlich erfordert.

References

Summarized position

Google DeepMind trained robot action tokens directly into a vision-language model’s output vocabulary and reported roughly 3x better generalization to unseen objects, backgrounds, and settings than prior baselines across 6,000 evaluation trials.

Google DeepMind, Authors, "RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control"
arXiv, Primary source
Summarized position

Vincent Vanhoucke said most robot-learning approaches "cannot be deployed for any practical task" because real-world use demands 99.X percent reliability, calling that bar "a fundamentally different beast" from an 80 percent-success research demo.

Vincent Vanhoucke, Head of robotics, Google DeepMind / Google Research
IEEE Spectrum ("Will Scaling Solve Robotics?" by Nishanth J. Kumar), Reported interview
Summarized position

Google DeepMind disclosed whole-body manipulation success rates of 45.7–76.3% and multi-finger dexterity success of 32–92% for Gemini Robotics 2 on Apptronik’s Apollo 2, stating that "multi-finger dexterous manipulation remains challenging".

Google DeepMind, Gemini Robotics 2 / ER 2 announcement
DeepMind blog, Primary source
Summarized position

Figure said Helix 02’s new "System 0" whole-body balance controller "replaces 109,504 lines of hand-engineered C++ with a single neural prior for stable, natural motion," trained on over 1,000 hours of retargeted human motion across more than 200,000 simulated environments, and cautioned that "the results are early".

Figure, Helix 02 announcement
Figure AI blog, Primary source
Summarized position

NVIDIA reported that scaling GR00T N1.7’s egocentric-video training data from roughly 1,000 to 20,854 hours "more than doubles average task completion" on dexterous manipulation tasks, without citing an independent benchmark.

NVIDIA, GR00T N1.7 announcement
Hugging Face / NVIDIA blog, Primary source
Summarized position

Rodney Brooks argued that current video-imitation training pipelines skip the tactile channel entirely — citing touch-sensing research describing at least fifteen distinct families of touch neurons in human skin — and called claims that humanoids will reach human-level general dexterity within decades "pure fantasy thinking".

Rodney Brooks, Roboticist; MIT CSAIL emeritus; co-founder, iRobot and Rethink Robotics
"Why Today’s Humanoids Won’t Learn Dexterity" (rodneybrooks.com), Primary source
  1. arXiv:2310.08864 arxiv.org
  2. Physical-Intelligence-Blog pi.website
  3. arXiv:2604.15483 arxiv.org
  4. Bloomberg bloomberg.com
  5. Figure-Blog figure.ai
  6. Boston-Dynamics-Blog bostondynamics.com
  7. TRI toyotaresearchinstitute.github.io
  8. Not a Tesla App, Zusammenfassung von Teslas Q2-2026-Ergebnistelefonkonferenz notateslaapp.com
  9. Al Jazeera aljazeera.com
  10. TechCrunch techcrunch.com

Type to search the manual.

navigate open esc close