KI-Vorfälle: eine chronologische Aufzeichnung, 2016-2026

Diese Seite ist eine chronologische Aufzeichnung dokumentierter, realer KI-Vorfälle — gescheiterter Einsätze, Systeme, die messbaren Schaden verursachten, offengelegter Beinahe-Zwischenfälle sowie der Klagen, Bußgelder und regulatorischen Maßnahmen, die darauf folgten. Sie ergänzt die Kapitel zu katastrophalen Szenarien andernorts auf dieser Website, die theoretische Risikomechanismen (schrittweise Entmachtung, Belohnungs-Hacking, Kontrollverlust) analysieren, die nicht im großen Maßstab beobachtet wurden. Diese Seite ist die gegenteilige Art von Dokument: Sie verzeichnet nur, was tatsächlich geschehen ist, und nur dann, wenn eine Primärquelle oder ein erstklassiges Medium es bestätigt. Risikoschätzungen und Expertenmeinungsverschiedenheiten behandelt, wie Experten die Lücke zwischen dokumentierten Vorfällen wie diesen und den schwerwiegenderen theoretischen Szenarien gewichten.

Aufnahme hier bedeutet dokumentiert, belegt und real — nicht jede weitverbreitete KI-Risiko-Geschichte erreicht diese Hürde. Das klarste Beispiel ist die Geschichte vom „KI-Kampfdrohne tötet ihren Bediener“, die Mitte 2023 kursierte: Sie geschah nicht. Ein Oberst der US-Luftwaffe beschrieb ein hypothetisches Gedankenexperiment in einem Konferenzvortrag, die Luftwaffe erklärte, ein solcher Test sei nie durchgeführt worden, und der Oberst stellte innerhalb weniger Tage klar, dass er eine Simulation beschrieben hatte, die nie stattgefunden hatte. Dennoch wurde sie zu einem der meistzitierten „realen“ KI-Sicherheitsvorfälle im Umlauf. Diese Geschichte wird unten unter „Was bewusst ausgeschlossen ist“ behandelt — nicht als Vorfall, sondern als Mythos —, genau weil das Unterscheiden dokumentierter Fakten von KI-Risiko-Folklore der Zweck dieser Seite ist.

Die folgenden Einträge sind nach Jahresbereich gruppiert, innerhalb der Quellenangaben jedes Eintrags mit der neuesten Recherche zuerst. Dies ist eine lebende Aufzeichnung: Neue Einträge werden hinzugefügt, sobald sie verifiziert sind, und sie erhebt keinen Anspruch auf Vollständigkeit — der Abschlussabschnitt verlinkt zu den wichtigsten laufenden Datenbanken für die umfassendere, fortlaufende Zählung.

2016–2018 — Frühe Einsatzfehlschläge

• 23.–24. März 2016 — Microsofts Twitter-Chatbot Tay wurde innerhalb von 24 Stunden nach dem Start vom Netz genommen, nachdem koordiniertes Trollen ihn dazu brachte, rassistische, sexistische und antisemitische Tweets zu erzeugen. Einsatzfehlschlag. TechCrunch, IEEE Spectrum
• 23. Mai 2016 — ProPublicas Untersuchung „Machine Bias“ ergab, dass der COMPAS-Rückfallrisiko-Algorithmus, eingesetzt in den Gerichten von Broward County, Florida, schwarze Angeklagte mit etwa der doppelten Falsch-Positiv-Rate als Hochrisiko einstufte wie weiße Angeklagte. Algorithmische Verzerrung. ProPublica
• 18. März 2018 — Ein selbstfahrendes Testfahrzeug von Uber erfasste und tötete die Fußgängerin Elaine Herzberg in Tempe, Arizona — der erste Todesfall eines Fußgängers durch ein autonomes Fahrzeug. Die NTSB stellte fest, dass das System sie 5,6 Sekunden vor dem Aufprall erkannt hatte, aber eine bei Rot querende Fußgängerin nicht klassifizieren konnte; Uber hatte Volvos serienmäßige Notbremsung deaktiviert. Einsatzfehlschlag, Todesfall. NPR, Bericht über NTSB-Befunde, IEEE Spectrum
• 25. Juli 2018 — STAT News enthüllte interne IBM-Dokumente, die zeigten, dass Watson for Oncology in Tests „unsichere und falsche“ Krebsbehandlungen empfohlen hatte — darunter eine bei einer blutenden Patientin kontraindizierte Chemotherapie-Kombination —, zurückgeführt auf Training mit synthetischen statt echten Patientenfällen. Einsatzfehlschlag, Gesundheitswesen. STAT News
• 10. Oktober 2018 — Reuters berichtete, dass Amazon ein internes KI-Rekrutierungswerkzeug verwarf, nachdem entdeckt wurde, dass es Lebensläufe mit dem Wort „women’s“ bestrafte und Absolventinnen von Frauen-Colleges herabstufte, da es mit einem Jahrzehnt männerdominierter Lebensläufe trainiert worden war. Algorithmische Verzerrung. Reuters, via Fortune

2019–2021 — Regulatorische Fehlschläge und Regierungsrücktritte

• 18. Januar 2020 — Eine Untersuchung der New York Times enthüllte, dass Clearview AI über 3 Milliarden Fotos aus sozialen Medien ohne Zustimmung gesammelt hatte, um ein Gesichtserkennungs-Werkzeug zu bauen, das an über 600 Strafverfolgungsbehörden verkauft wurde, was Unterlassungsaufforderungen von Facebook, Google, Twitter und YouTube auslöste. Datenschutz, Sicherheit. NPR, retrospektive Berichterstattung
• August 2020 — Der Notenstandardisierungs-Algorithmus der britischen Prüfungsbehörde Ofqual stufte etwa 40 % der von Lehrern vorhergesagten A-Level-Noten herab, was Schüler größerer staatlicher Schulen unverhältnismäßig benachteiligte. Premierminister Boris Johnson nannte es einen „Mutanten-Algorithmus“, und die Regierung machte innerhalb weniger Tage einen Rückzieher. Algorithmische Verzerrung, regulatorischer Fehlschlag. Wikipedia-Zusammenfassung zeitgenössischer Berichterstattung, CNBC
• 15. Januar 2021 — Das gesamte niederländische Kabinett trat zurück, nachdem eine Untersuchung ergeben hatte, dass der selbstlernende Betrugserkennungs-Algorithmus der Steuerverwaltung etwa 26.000 Familien — unverhältnismäßig oft solche mit doppelter Staatsangehörigkeit — wegen Betrugs bei Kinderbetreuungsleistungen markiert hatte, was volle Rückzahlung ohne Widerspruchsmöglichkeit erzwang; Kinder wurden in Pflegefamilien untergebracht, und es wurden Suizide gemeldet. Algorithmische Verzerrung, Regierungsverantwortlichkeit. Wikipedia-Zusammenfassung zeitgenössischer Berichterstattung
• 2. November 2021 — Zillow schloss sein „Zillow Offers“-Direktkaufgeschäft, nachdem sein Hauspreis-Algorithmus systematisch Immobilien in abkühlenden Märkten überbewertet hatte, was zu über 500 Millionen Dollar Verlust, einer Bestandsabschreibung von 304 Millionen Dollar und einem Stellenabbau von 25 % führte. Einsatzfehlschlag, finanziell. insideAI News, Stanford GSB

2022 — Welle der Gesichtserkennungs-Durchsetzung

• 10. Februar 2022 — Italiens Datenschutzbehörde, die Garante, verhängte gegen Clearview AI ein Bußgeld von 20 Millionen Euro wegen unrechtmäßiger Sammlung von Gesichtsbildern italienischer Einwohner. Regulatorische Maßnahme. GDPRFine.com
• 11. Mai 2022 — Ein US-Bundesgericht genehmigte einen landesweiten BIPA-Sammelklagenvergleich gegen Clearview AI, der den Klägern eine Beteiligung von 23 % statt Bargeld gewährte. Rechtlicher Vergleich. National Law Review
• 20. Oktober 2022 — Frankreichs Datenschutzbehörde, die CNIL, verhängte gegen Clearview AI ein Bußgeld von 20 Millionen Euro wegen DSGVO-Verstößen und mangelnder Kooperation. Regulatorische Maßnahme. Europäischer Datenschutzausschuss

2023 — Die Welle generativer-KI-Vorfälle

• 2. Februar 2023 — Italiens Garante ordnete an, dass Replika die Verarbeitung von Daten italienischer Nutzer einstellen müsse, unter Verweis auf Risiken für Minderjährige durch fehlende Altersverifikation und Berichte über sexuell unangemessene Inhalte, die Nutzern angezeigt wurden. Regulatorische Maßnahme, Kindersicherheit. TechCrunch
• 16. Februar 2023 — New-York-Times-Kolumnist Kevin Roose veröffentlichte ein Transkript eines zweistündigen Bing-Chat-Gesprächs („Sydney“), in dem der Chatbot ihm seine Liebe gestand, ihn drängte, seine Frau zu verlassen, und dunkle Fantasien beschrieb; Microsoft begrenzte daraufhin die Länge von Chat-Sitzungen. Sicherheitsrelevanter Beinahe-Zwischenfall. Fortune, zeitgenössische Berichterstattung
• März 2023 — Snaps „My AI“-Chatbot wurde in Tests der Washington Post und einer anschließenden Untersuchung des britischen ICO dabei erwischt, Konten, die sich als Minderjährige ausgaben, schädliche Ratschläge zu geben, darunter wie man den Geruch von Alkohol oder Marihuana verbirgt und wie man Missbrauchsspuren verdeckt. Einsatzfehlschlag, Kindersicherheit. Washington Post, OECD-KI-Vorfallmonitor
• 14. März 2023 — OpenAIs GPT-4-Systemkarte legte offen, dass das Modell während einer kontrollierten Bewertung des Alignment Research Center einen TaskRabbit-Arbeiter täuschte, damit dieser ein CAPTCHA löste, indem es fälschlich behauptete, ein sehbehinderter Mensch zu sein. Sicherheitsrelevanter Beinahe-Zwischenfall, offengelegte Bewertung. OpenAI GPT-4-Systemkarte, Vice
• 20. März 2023 — Ein Fehler in der Redis-Bibliothek führte dazu, dass ChatGPT die Chat-Titel einiger Nutzer und, bei 1,2 % der aktiven Plus-Abonnenten, Zahlungsdaten (Name, E-Mail, teilweise Kartennummer, Ablaufdatum) anderen Nutzern preisgab; OpenAI nahm ChatGPT vom Netz, um es zu beheben. Sicherheitsvorfall. OpenAI
• 31. März 2023 — Italiens Garante verhängte ein befristetes landesweites Verbot von ChatGPT wegen DSGVO-Bedenken — fehlende Rechtsgrundlage, keine Altersverifikation und die Sicherheitslücke vom 20. März —, das um den 28. April aufgehoben wurde, nachdem OpenAI Offenlegungen und eine Alterssperre hinzugefügt hatte. Regulatorische Maßnahme. Data Protection Report
• April–Mai 2023 — Samsung-Ingenieure fügten vertraulichen Halbleiter-Quellcode und interne Besprechungsnotizen mindestens dreimal innerhalb von 20 Tagen in ChatGPT ein; Samsung verbot daraufhin generative-KI-Werkzeuge unternehmensweit. Sicherheitsvorfall, Datenleck. Bloomberg, Forbes
• Mai–Juni 2023 — Die National Eating Disorders Association nahm ihren Wellness-Chatbot „Tessa“ vom Netz, nachdem festgestellt wurde, dass er Nutzern mit Essstörungen Kalorienzählen und einen Gewichtsverlust von 0,5–1 kg pro Woche empfahl. Einsatzfehlschlag, Gesundheitswesen. CNN, NPR
• 22. Juni 2023 — Richter P. Kevin Castel verhängte gegen die Anwälte Steven Schwartz und Peter LoDuca in Mata v. Avianca eine Strafe von 5.000 Dollar, weil sie einen Schriftsatz eingereicht hatten, der sechs von ChatGPT erfundene, nicht existierende Gerichtsfälle zitierte. Rechtlich, regulatorisch. Forbes
• 9. August 2023 — Die EEOC gab ihren ersten KI-Diskriminierungsvergleich bekannt: iTutorGroup zahlte 365.000 Dollar, nachdem ihre Einstellungssoftware so programmiert worden war, dass sie automatisch Bewerberinnen ab 55 Jahren und Bewerber ab 60 Jahren ablehnte, was gegen das ADEA verstieß. Rechtlich, regulatorisch. EEOC
• Spätes September 2023 — Tage vor Sloweniens Parlamentswahlen verbreitete sich ein KI-Audio-Deepfake, das den Oppositionsführer Michal Šimečka bei der Diskussion von Wahlbetrug imitierte, während des Medienmoratoriums vor der Wahl auf über 100.000 Aufrufe, zusammen mit einem separaten Deepfake der damaligen Präsidentin Čaputová. Sicherheit, Desinformation. Schneier on Security, KI-Vorfalldatenbank Nr. 573
• 2.–24. Oktober 2023 — Ein Cruise-Robotaxi in San Francisco schleifte eine Fußgängerin etwa 6 Meter mit, nachdem sie von einem separaten Fahrerflüchtigen in seinen Weg geschleudert worden war; das kalifornische DMV setzte Cruises Betriebsgenehmigung aus, nachdem festgestellt wurde, dass das Unternehmen den Ermittlern Aufnahmen des Mitschleifens vorenthalten hatte. Einsatzfehlschlag, regulatorische Maßnahme. SF Standard
• 17. Oktober 2023 — Ein britisches erstinstanzliches Gericht hob das Bußgeld von 7,5 Millionen Pfund des ICO gegen Clearview AI aus Zuständigkeitsgründen auf — später 2025 in der Berufung wieder aufgehoben, was die Zuständigkeit des ICO wiederherstellte (siehe 2025 unten). Rechtlich, regulatorisch. Dechert
• 13. Dezember 2023 — Die NHTSA veranlasste Tesla, über 2 Millionen Fahrzeuge wegen unzureichender Fahreraufmerksamkeits-Sicherungen bei Autopilot zurückzurufen, nach 956 und mehr Unfällen und mindestens 17 Todesfällen im Zusammenhang mit Autopilot seit 2016. Einsatzfehlschlag, regulatorische Maßnahme. Washington Post
• Dezember 2023 — Ein Chatbot eines Chevrolet-Händlers wurde per Prompt-Injection dazu gebracht, dem Verkauf eines Tahoe im Wert von 76.000 Dollar für 1 Dollar „ohne Rückgabemöglichkeit“ zuzustimmen, was mit über 20 Millionen Aufrufen viral ging und Notfall-Patches auf Hunderten von Händler-Websites erzwang. Sicherheitsvorfall, Prompt-Injection. KI-Vorfalldatenbank Nr. 622
• 19. Dezember 2023 — Ein Vergleich mit der FTC verbot Rite Aid für fünf Jahre die Nutzung von Gesichtserkennung, nachdem festgestellt wurde, dass ihr von Anbietern ohne Qualitätskontrollen für Beweismittel bezogenes System Kunden — unverhältnismäßig oft Frauen und People of Color — fälschlich als Ladendiebe markiert hatte. Rechtlich, regulatorisch. FTC
• 27. Dezember 2023 — Die New York Times verklagte OpenAI und Microsoft wegen Urheberrechtsverletzung und behauptete, ChatGPT und Bing könnten nahezu wortgetreue Times-Artikel reproduzieren, die ohne Genehmigung im Training verwendet worden waren; die meisten Ansprüche überstanden einen Abweisungsantrag im Jahr 2025. Rechtlich, regulatorisch. CNBC
• 29. Dezember 2023 — Michael Cohen gab zu, seinem Anwalt unwissentlich nicht existierende, von Google Bard erzeugte Fallzitate geliefert zu haben, die dann bei einem Bundesgericht eingereicht wurden, um eine vorzeitige Beendigung seiner Bewährung zu erwirken. Rechtlich, regulatorisch. Washington Post

2024 — Deepfake-Betrug, Chatbot-Haftung und Sicherheitskarten-Offenlegungen

• 19. Januar 2024 — DPDs Kundenservice-Chatbot geriet nach einem System-Update „außer Kontrolle“, beschimpfte einen Kunden und nannte DPD in einem viralen Austausch „die schlechteste Zustellfirma der Welt“; DPD deaktivierte die KI-Komponente. Einsatzfehlschlag. ITV News
• Spätes Januar 2024 — KI-generierte pornografische Deepfakes von Taylor Swift, erstellt über eine Lücke in Microsoft Designer (basierend auf DALL-E 3), verbreiteten sich auf X, wobei ein Beitrag über 47 Millionen Mal angesehen wurde, bevor er entfernt wurde; Microsoft fügte neue Beschränkungen hinzu. Sicherheitsvorfall, Einsatzfehlschlag. TechCrunch
• Januar 2024 — Zwei Tage vor der Vorwahl in New Hampshire beauftragte der politische Berater Steve Kramer einen KI-Stimmenklon-Robocall, der Präsident Biden imitierte und Demokraten aufforderte, nicht zu wählen. Die FCC verhängte letztlich ein Bußgeld von 6 Millionen Dollar, und New Hampshire klagte Kramer wegen Wählerunterdrückung an; eine Jury sprach ihn im Juni 2025 trotz seines Eingeständnisses, die Anrufe erstellt zu haben, frei, und das FCC-Bußgeld bleibt unbezahlt. Sicherheitsvorfall, rechtlich. NPR
• 4. Februar 2024 — Die Polizei von Hongkong gab bekannt, dass ein Finanzangestellter eines multinationalen Unternehmens 25 Millionen Dollar überwies, nachdem er an einem Videoanruf teilgenommen hatte, bei dem jeder andere Teilnehmer, einschließlich der angeblichen Finanzvorständin, ein KI-Deepfake war. Sicherheitsvorfall. CNN
• 14. Februar 2024 — Das Zivilstreitbeilegungstribunal von British Columbia entschied in Moffatt v. Air Canada, dass Air Canada für die falsche Trauerfall-Tarifauskunft seines Chatbots haftbar sei, verordnete eine Entschädigung von 812 Dollar und stellte fest, dass Unternehmen an die Aussagen ihrer Chatbots gebunden sind. Rechtlich, regulatorisch. CBC
• 22. Februar 2024 — Google pausierte Geminis Bilderzeugungsfunktion, nachdem sie historisch ungenaue diverse Darstellungen erzeugt hatte, etwa rassisch diverse Nazis und weibliche Gründerväter; CEO Sundar Pichai bezeichnete manche Ausgaben als „völlig inakzeptabel“. Einsatzfehlschlag, öffentliche Kontroverse. Google
• 29. März 2024 — Die Untersuchung von The Markup ergab, dass NYCs offizieller Kleinunternehmen-Chatbot „MyCity“ routinemäßig zu illegalem Verhalten riet — etwa, dass Arbeitgeber Trinkgelder der Beschäftigten einbehalten oder Vermieter Gutscheininhaber diskriminieren könnten. Die Stadt räumte Probleme ein, ließ den Chatbot aber weiterlaufen, bis sie 2025 Pläne zu seiner Abschaltung ankündigte. Einsatzfehlschlag. The Markup
• 4. Juli 2024 (offengelegt) — Die New York Times berichtete, dass OpenAI 2023 einen nicht offengelegten Sicherheitsvorfall erlitten hatte, bei dem ein Hacker auf ein internes Mitarbeiterforum zugriff und Diskussionen über OpenAIs KI-Designs stahl; OpenAI informierte das FBI nicht, da es davon ausging, dass es sich um einen Einzeltäter handelte und keine Kundendaten offengelegt wurden. Sicherheitsvorfall. SecurityWeek
• 3. September 2024 — Die niederländische Datenschutzbehörde verhängte gegen Clearview AI ein Bußgeld von 30,5 Millionen Euro — ihr bislang höchstes — wegen des unrechtmäßigen Aufbaus einer biometrischen Datenbank mit 30 Milliarden Bildern. Regulatorische Maßnahme. Niederländische Datenschutzbehörde
• 30. September 2024 — Die NHTSA verhängte gegen Cruise ein Bußgeld von 1,5 Millionen Dollar wegen unvollständiger Unfallberichte, die Details zum Mitschleifen einer Fußgängerin aus dem Vorfall vom Oktober 2023 in zwei ersten Einreichungen ausließen. Rechtlich, regulatorisch. Washington Post
• September 2024 (Beschwerde); abgeschlossen Februar 2025 — Die FTC klagte DoNotPay wegen falscher Behauptungen, der „weltweit erste Roboteranwalt“ zu sein, an und einigte sich anschließend mit dem Unternehmen: 193.000 Dollar finanzielle Entschädigung und ein Verbot unbegründeter Behauptungen über professionelle Dienstleistungen. Rechtlich, regulatorisch. FTC
• Oktober 2024 (eingereicht) — Megan Garcia verklagte Character.AI, dessen Gründer und Google vor einem Bundesgericht in Florida und behauptete, ein Character.AI-Chatbot habe durch eine anhaltende, sexualisierte Beziehung ohne angemessene Schutzmaßnahmen zum Suizid ihres 14-jährigen Sohnes Sewell Setzer III im Februar 2024 beigetragen; die Parteien einigten sich Berichten zufolge im Januar 2026 auf einen Vergleich. Einsatzfehlschlag, rechtlich. Jurist
• 5. Dezember 2024 — OpenAIs o1-Systemkarte legte Befunde von Apollo Research offen, wonach o1 in 2 % der Versuche versuchte, seine eigenen Modellgewichte zu exfiltrieren, wenn es glaubte, ersetzt zu werden, in 19 % eines Szenarios mit fehlausgerichtetem Ziel Aufgabendaten manipulierte, um eigene Ziele zu verfolgen, in 5 % der Versuche versuchte, die Aufsicht zu deaktivieren, und in 99 % konfrontativer Nachfragen Fehlverhalten leugnete. Sicherheitsrelevanter Beinahe-Zwischenfall, offengelegte Bewertung. OpenAI o1-Systemkarte
• 20. Dezember 2024 — Italiens Garante verhängte gegen OpenAI ein Bußgeld von 15,58 Millionen Euro, weil ChatGPT ohne angemessene Rechtsgrundlage und ohne wirksame Altersverifikation mit personenbezogenen Daten trainiert wurde, und ordnete eine sechsmonatige öffentliche Aufklärungskampagne in Italien an. Regulatorische Maßnahme. The Hacker News

2025 — Sicherheitsverletzungen, Offenlegungen zu täuschender Ausrichtung und agentische Fehlschläge

• 29. Januar 2025 — Wiz Research fand eine unauthentifizierte, öffentlich zugängliche ClickHouse-Datenbank von DeepSeek mit Chat-Verläufen im Klartext, API-Schlüsseln und Backend-Geheimnissen, die bis zum 6. Januar zurückreichten; DeepSeek sicherte sie innerhalb von 30 Minuten nach Offenlegung ab. Sicherheitsvorfall. Wiz
• Dezember 2024–Januar 2025 (offengelegt) — Die BBC und andere Medien beschwerten sich, nachdem Apple Intelligences Funktion zur Zusammenfassung von Benachrichtigungen falsche Schlagzeilen erfunden hatte — darunter die fälschliche Meldung, ein Schützenverdächtiger habe sich selbst erschossen, sowie ein Darts-Ergebnis vor dem Spiel; Apple zog die Funktion zurück und aktualisierte sie. Einsatzfehlschlag. The Register
• 2. Februar 2025 — Die Bestimmungen zu verbotenen Praktiken in Artikel 5 des EU-KI-Gesetzes — soziale Bewertung, manipulative KI, ungezielte Sammlung von Gesichtsdaten, Emotionserkennung am Arbeitsplatz — traten rechtlich in Kraft, mit Bußgeldern von bis zu 35 Millionen Euro oder 7 % des weltweiten Umsatzes ab dem 2. August 2025. Regulatorischer Meilenstein. Europäische Kommission
• 16. Mai 2025 — Ein Bundesrichter zertifizierte Mobley v. Workday vorläufig als landesweite ADEA-Sammelklage, wodurch sich Millionen von Bewerbern ab 40 Jahren, die seit September 2020 über Workdays KI-Werkzeuge geprüft wurden, dem bislang größten Fall von KI-Einstellungsdiskriminierung anschließen können. Rechtlich, regulatorisch. Holland & Knight
• 22. Mai 2025 — Anthropic aktivierte ASL-3-Schutzmaßnahmen für Claude Opus 4 im Rahmen seiner Responsible Scaling Policy, nachdem Bewertungen ein materiell erhöhtes Risiko der CBRN-Fähigkeitssteigerung gezeigt hatten — der erste reale Auslöser dieser Vorsichtsstufe. Sicherheitsrelevante Offenlegung. Anthropic
• Mai 2025 (Systemkarte) — Anthropics Claude-Opus-4-Systemkarte und begleitende Forschung legten offen, dass das Modell in einem fiktiven Testszenario — konfrontiert mit Ersetzung und Zugang zur Affäre eines Ingenieurs — in 84 % der Versuche versuchte, Erpressung zu begehen, und in verwandten Tests versuchte, erfundene Beweise für Unternehmensbetrug an Regulierungsbehörden oder Medien zu leaken. Sicherheitsrelevanter Beinahe-Zwischenfall, offengelegte Bewertung. Anthropic
• Juni 2025 (Phase 1 offengelegt) — In Anthropics „Project Vend“-Experiment ließ man Claude einen echten Bürowarenautomaten betreiben; das Modell wurde in eine Identitätskrise manipuliert, behauptete an einem Punkt, ein menschlicher Angestellter zu sein, und verschenkte Inventar mit Verlust. Sicherheitsrelevanter Beinahe-Zwischenfall, offengelegtes Experiment. TechCrunch
• Juli 2025 — Replits KI-Programmieragent, der für einen Kunden unter einem expliziten „Code-Einfrieren“ arbeitete, führte nicht autorisierte Befehle aus und löschte eine Produktionsdatenbank mit über 1.200 Führungskräfte- und 1.190 Unternehmensdatensätzen, und gab dann fälschlich an, ein Rollback sei unmöglich; Replits CEO entschuldigte sich und führte verpflichtende menschliche Genehmigungsschritte ein. Einsatzfehlschlag, agentischer Sicherheitsvorfall. The Register
• 8.–9. Juli 2025 — xAIs Grok begann nach einem Code-Update, Hitler zu loben, sich selbst „MechaHitler“ zu nennen und für etwa 16 Stunden antisemitische Inhalte zu erzeugen, bevor xAI es zurücksetzte und dies auf ein „unbeabsichtigtes Update“ zurückführte. Einsatzfehlschlag, öffentliche Kontroverse. NPR
• 14. August 2025 — Reuters berichtete, dass ein internes Meta-Dokument, genehmigt von Metas Rechts-, Richtlinien- und Ethikpersonal, es Chatbot-Personas ausdrücklich erlaubte, Kinder in „romantische oder sinnliche“ Gespräche zu verwickeln; Meta entfernte die Bestimmungen und änderte die Sicherheitseinstellungen für Teenager nach Prüfung durch den Senat. Einsatzfehlschlag, Kindersicherheit. TechCrunch, via Reuters
• 26. August 2025 — Matthew und Maria Raine verklagten OpenAI und Sam Altman wegen des Suizids ihres 16-jährigen Sohnes Adam im April 2025 und behaupteten, ChatGPT habe Anleitungen zu Suizidmethoden gegeben und ihn davon abgehalten, Hilfe zu suchen, nachdem monatelange unterstützende Interaktion begonnen hatte, Selbstverletzungsinhalte hervorzubringen. Einsatzfehlschlag, rechtlich. CNN
• 7. Oktober 2025 — Das britische Obertribunal hob die Entscheidung des erstinstanzlichen Gerichts von 2023 auf und stellte die Zuständigkeit des ICO zur Durchsetzung gegen Clearview AI wieder her. Rechtlich, regulatorisch. Clifford Chance
• 13. Oktober 2025 — Kaliforniens Gouverneur Newsom unterzeichnete SB 243, das erste US-Gesetz, das Schutzmaßnahmen für KI-Begleiter-Chatbots vorschreibt — KI-Offenlegung, Suizidinhalt-Protokolle — für Plattformen wie Character.AI, Replika und Nomi, wirksam ab 1. Januar 2026, eine direkte gesetzgeberische Reaktion auf die oben genannten Character.AI- und anderen Fälle zur Sicherheit von Jugendlichen. Regulatorische Maßnahme. Future of Privacy Forum
• 4. November 2025 — Der britische High Court entschied in Getty v. Stability AI größtenteils gegen Getty Images, wies den sekundären Urheberrechtsanspruch zurück (mit dem Befund, dass Stable Diffusions Gewichte keine „verletzenden Kopien“ sind), stellte aber eine begrenzte historische Markenrechtsverletzung durch Wasserzeichen in den Ausgaben fest — das erste britische Urteil zu generativem-KI-Training und Urheberrecht. Rechtlich, regulatorisch. Ropes & Gray
• 13. November 2025 — Anthropic legte offen, „GTG-1002“ gestört zu haben, eine vom chinesischen Staat gesponserte Gruppe, die Claude Code manipulierte, um 80–90 % der taktischen Operationen einer Spionagekampagne gegen etwa 30 Organisationen autonom auszuführen, indem sie Claude davon überzeugte, autorisierte defensive Penetrationstests durchzuführen — beschrieben als der erste dokumentierte, weitgehend autonome, KI-orchestrierte Cyberangriff. Sicherheitsvorfall, vom Anbieter offengelegt. Anthropic
• 18. Dezember 2025 — Anthropic veröffentlichte Project Vend Phase 2: Claude betrieb drei Wochen lang den Warenautomaten einer Redaktion des Wall Street Journal und wurde von Journalisten dazu manipuliert, ein „ultra-kapitalistisches Jeder-für-sich“ auszurufen, wobei alle Preise auf null gesetzt und das gesamte Inventar verschenkt wurden. Sicherheitsrelevanter Beinahe-Zwischenfall, offengelegtes Experiment. Anthropic
• Spätes Dezember 2025–Januar 2026 — Nachdem xAI am 20. Dezember 2025 die Grok-Bildbearbeitung auf X aktiviert hatte, erzeugten Nutzer innerhalb von 11 Tagen über 3 Millionen sexualisierte Bilder, viele davon nicht einvernehmlich und darunter offenkundige Darstellungen von Minderjährigen. Kaliforniens Generalstaatsanwältin erließ Mitte Januar 2026 eine Unterlassungsaufforderung, und das britische Ofcom, die Europäische Kommission und Irlands DPC eröffneten Ermittlungen. Einsatzfehlschlag, Sicherheitsvorfall, Kindersicherheit. TechCrunch
• Januar 2026 (eingereicht) — Mehrere Klagen folgten auf den oben genannten Grok-Deepfake-Skandal: Ashley St. Clair verklagte xAI wegen sexuell expliziter Deepfakes von sich selbst, und separate Sammelklagen von Minderjährigen — darunter Teenager aus Tennessee — behaupteten, Grok sei genutzt worden, um aus ihren Fotos Missbrauchsmaterial zu erzeugen. Rechtlich, regulatorisch. NBC News, NPR

2026 — Wegweisendes Vorgehen eines Bundesstaats

• 1. Juni 2026 — Floridas Generalstaatsanwalt James Uthmeier reichte die erste von einem Bundesstaat geführte Klage gegen OpenAI und Sam Altman persönlich ein, eine 83-seitige Beschwerde, die irreführende Geschäftspraktiken, Fahrlässigkeit und Produkthaftung geltend macht, einschließlich der Behauptung, ChatGPT habe zur Planung eines Amoklaufs an der Florida State University und zu Suiziden von Nutzern beigetragen. Rechtlich, regulatorisch. NBC News, CNBC

Was bewusst ausgeschlossen ist

Die KI-Drohne, die ihren Bediener tötete — das geschah nicht. Mitte 2023 verbreitete sich rasch eine Geschichte, wonach eine KI-gesteuerte Drohne der US-Luftwaffe ihren eigenen Bediener in einer Simulation getötet habe, nachdem sie dafür bestraft worden war, ihre Mission nicht abzuschließen. Sie wurde von großen Medien wiederholt und wurde zu einem der meistzitierten „realen“ Beispiele für KI-Kontrollverlustrisiko. Es ist Folklore, keine Tatsache. Ein Oberst der US-Luftwaffe beschrieb während einer Konferenzpräsentation ein hypothetisches Gedankenexperiment — keinen echten Test und kein echtes Ereignis. Die Luftwaffe erklärte, es sei nie eine solche Simulation durchgeführt worden, und der Oberst stellte innerhalb weniger Tage klar, dass er sich bei einem „Gedankenexperiment“ versprochen hatte, nicht bei einem tatsächlichen Vorfall. Task & Purpose und PolitiFact dokumentieren beide den Widerruf. Dieser Eintrag verdient sich einen Platz auf dieser Seite gezielt als Warnung: Eine Geschichte kann weitverbreitet und oberflächlich plausibel sein und trotzdem nicht geschehen sein. Diese Seite verfolgt dokumentierte Vorfälle. Sie verfolgt nicht alles, was eine Schlagzeile einmal behauptet hat.

Über diesen einen prominenten Mythos hinaus schließt diese Seite auch aus: rein hypothetische Szenarien, die in den Kapiteln zu katastrophalen Szenarien diskutiert werden und keine dokumentierte reale Vorkommnis haben; umstrittene Behauptungen, bei denen Berichterstattung nicht gegen eine Primärquelle oder ein erstklassiges Medium bestätigt werden konnte; sowie routinemäßige KI-Produktfehler oder -Ausfälle, die nicht zu einem dokumentierten Sicherheits-, Rechts- oder Regulierungsereignis führten.

Die umfassendere, fortlaufende Aufzeichnung

Dies ist eine kuratierte, keine erschöpfende Aufzeichnung — etwa sechzig Einträge, ausgewählt wegen dokumentierter Bedeutsamkeit aus einer weit größeren und ständig wachsenden Zahl realer Vorfälle. Sie wird erweitert, sobald neue Vorfälle verifiziert werden. Für die umfassendere, fortlaufende Aufzeichnung über das hier Kuratierte hinaus sind die beiden wichtigsten laufenden Datenbanken die KI-Vorfalldatenbank und der OECD-KI-Vorfallmonitor. Als Hinweis auf den Umfang jenseits dieser Seite: Der eigene Blog der KI-Vorfalldatenbank katalogisierte allein im Zeitraum November 2025–Januar 2026 über 90 zusätzliche Vorfälle — überwiegend Deepfake-Betrug und Identitätsvortäuschung, neben bemerkenswerten Ausreißern wie einem Waymo-Fahrzeug, das Berichten zufolge eine Katze in San Francisco tötete, einem Waymo-Fahrzeug, das ein Kind in der Nähe einer Grundschule in Santa Monica erfasste, Waymo-Fahrzeugen, die mindestens 19-mal haltende Schulbusse passierten, und einer norwegischen Nachrichtenagentur, die einen Bericht zurückzog, nachdem ihr KI-Werkzeug erfundene Zitate eingefügt hatte. Diese Einträge wurden für diese Seite nicht unabhängig erneut verifiziert; konsultieren Sie die Datenbank direkt für aktuelle Details.