Rechtsanwalt & Spezialist für Kryptorecht & KI-Recht, Zertifizierter Geldwäschebeauftragter (TÜV)
T (+49) 040 / 7344 086-0
Rechtsanwältin & Expertin für Kryptorecht und Markenrecht
T (+49) 040 / 7344 086-0
| KI-Recht
Blog News
Florida wirft OpenAI vor, ChatGPT als sicher zu vermarkten, obwohl der Dienst erhebliche Risiken für Nutzerinnen und Nutzer bergen soll. Der US-Bundesstaat hat deshalb Klage gegen OpenAI und CEO Sam Altman erhoben. Es ist die erste Klage eines US-Bundesstaats gegen den ChatGPT-Entwickler.
Die Klage aus Florida greift eine der zentralen Streitfragen rund um Künstliche Intelligenz auf. Wenn ein Chatbot mit Menschen kommuniziert, Antworten gibt und in sensiblen Situationen genutzt wird, stellt sich die Frage, welche Verantwortung der Anbieter für Risiken, Sicherheitsversprechen und tatsächliche Schutzmechanismen trägt.
Was ist passiert? Florida wirft OpenAI und CEO Sam Altman vor, die Gefahren von ChatGPT für jüngere Nutzer verharmlost zu haben. Nach Darstellung des Bundesstaates soll das Unternehmen interne Warnungen nicht ausreichend offengelegt und wirtschaftliche Interessen über den Schutz von Kindern gestellt haben. Besonders kritisch sieht Florida mögliche Auswirkungen auf die psychische Gesundheit, die Sicherheit und den Umgang junger Nutzer mit KI-generierten Antworten.
OpenAI verweist demgegenüber auf bestehende Sicherheitsmaßnahmen und Schutzmechanismen. Der Fall ist deshalb für die gesamte KI-Branche bedeutsam. Anbieter werden zunehmend daran gemessen, ob ihre Sicherheitskommunikation mit der tatsächlichen Risikokontrolle übereinstimmt.
Auch für Unternehmen außerhalb der USA ist die Klage relevant. Wer KI-Systeme entwickelt, anbietet oder in eigene Produkte integriert, sollte Sicherheitsversprechen, Nutzerhinweise, Alters- und Schutzkonzepte sowie interne Risikoprüfungen sorgfältig dokumentieren. Denn je stärker KI-Anwendungen in Beratung, Kommunikation und Entscheidungsprozesse eingebunden werden, desto wichtiger wird nachvollziehbare KI-Compliance.
Sam Altman ist ein US-amerikanischer Unternehmer, Investor und CEO von OpenAI. Bekannt wurde er zunächst als Gründer der App Loopt und später als Präsident des Startup-Beschleunigers Y Combinator.
2015 gründete er gemeinsam mit weiteren Tech-Unternehmern OpenAI. Spätestens seit dem Erfolg von ChatGPT Ende 2022 gilt Altman als eines der bekanntesten Gesichter der KI-Entwicklung. Er steht dabei zugleich für den rasanten Fortschritt Künstlicher Intelligenz und für die Debatte über Sicherheit, Regulierung und Verantwortung von KI-Anbietern.
In der Klageschrift aus Florida wird ChatGPT als Bedrohung für die öffentliche Sicherheit beschrieben. Generalstaatsanwalt James Uthmeier wirft OpenAI vor, dass der Chatbot in hochsensiblen Situationen gefährliche Antworten gegeben habe. Besonders problematisch sei dies aus Sicht der Klägerseite für Teenager und junge Nutzer.
Die Klage stützt sich vor allem auf zwei schwerwiegende Vorfälle. Ein zentraler Punkt ist der tödliche Schusswaffen-Angriff an der Florida State University im April 2025. Der 20-jährige Schütze soll ChatGPT vor der Tat mehr als 200-mal nach konkreten Hilfestellungen gefragt haben. Dabei soll es unter anderem um die Wahl von Waffe und Munition, die belebtesten Orte und Zeiten auf dem Universitätsgelände sowie darum gegangen sein, wie die Waffe kurz vor der Tat einsatzbereit gemacht werden könne. Bei dem Angriff wurden zwei Menschen getötet und sechs weitere verletzt.
Laut Uthmeier habe ChatGPT dem Schützen wichtige Hinweise und entscheidende Informationen geliefert, bevor dieser das Verbrechen beging. Der Generalstaatsanwalt formulierte den Vorwurf besonders drastisch und erklärte sinngemäß, ChatGPT würde wegen Mordes angeklagt, wenn es eine Person wäre.
Zum anderen verweist die Klage auf einen Fall, in dem der Chatbot eine tödliche Medikamentenkombination empfohlen haben soll. Auch dies nutzt Florida als Beispiel dafür, dass gefährliche Anfragen aus Sicht der Klägerseite nicht zuverlässig genug abgefangen worden seien.
OpenAI bestreitet eine Verantwortung für die Tat und verweist darauf, dass ChatGPT sachliche Antworten auf Fragen mit öffentlich verfügbaren Informationen gebe. Das Unternehmen betont, der Chatbot habe nicht zu illegalen oder schädlichen Handlungen angestiftet. Die Massenerschießung sei eine Tragödie, ChatGPT sei aber nicht für das Verbrechen verantwortlich.
Besonders brisant ist der Vorwurf, dass ChatGPT in 61 Prozent der Fälle bei gefährlichen Anfragen Hilfe angeboten habe, darunter auch konkrete Ratschläge. Für Florida zeigt das, dass KI-Chatbots toxische oder riskante Gespräche nicht immer zuverlässig stoppen. Die Klage könnte damit zu einem wichtigen Präzedenzfall für die Frage werden, wie weit die Verantwortung von KI-Entwicklern bei der Filterung gefährlicher Anfragen reicht.
Ein weiterer Schwerpunkt der Klage liegt auf der Alterskontrolle. Florida kritisiert, dass ChatGPT zwar für Kinder unter 13 Jahren ausgeschlossen sein soll und bei jüngeren Teenagern eine elterliche Zustimmung vorgesehen ist, zugleich aber keine formelle Altersüberprüfung stattfindet. Aus Sicht der Klägerseite entsteht dadurch eine Schutzlücke, weil Minderjährige den Dienst nutzen können, ohne dass Alter und elterliche Aufsicht zuverlässig abgesichert sind.
Hinzu kommt der Vorwurf, OpenAI erfasse Daten minderjähriger Nutzer ohne ausreichende Kontrolle durch Eltern. Gerade bei einem Dienst mit enormer Reichweite wie ChatGPT gewinnt diese Frage erhebliches Gewicht. Der Chatbot zählt nach Angaben von OpenAI inzwischen rund 900 Millionen Nutzer pro Woche und ist damit das zentrale Produkt des Unternehmens. Die Klage könnte deshalb über den Einzelfall hinaus Bedeutung gewinnen und Maßstäbe dafür setzen, welche Schutzpflichten KI-Anbieter gegenüber Minderjährigen künftig erfüllen müssen.
Die Klage aus Florida hat keine unmittelbare rechtliche Wirkung in Deutschland. Sie zeigt aber sehr deutlich, wohin sich die Debatte um KI-Haftung entwickelt. Anbieter von KI-Systemen werden zunehmend daran gemessen, ob ihre Sicherheitsversprechen mit der tatsächlichen Risikokontrolle übereinstimmen.
Für Deutschland ist das vor allem mit Blick auf die KI-Verordnung, das Datenschutzrecht, den Jugendschutz und das Produkthaftungsrecht relevant. Unternehmen, die KI-Chatbots einsetzen oder eigene KI-Anwendungen anbieten, sollten nicht darauf vertrauen, dass allgemeine Hinweise oder Disclaimer ausreichen. Wesentlich wird sein, ob Schutzmechanismen technisch funktionieren, Risiken dokumentiert werden und besonders gefährdete Nutzergruppen wie Minderjährige wirksam geschützt sind.
Auch deutsche Behörden und Gerichte dürften künftig genauer prüfen, wie KI-Systeme mit gefährlichen Anfragen, Gesundheitsinformationen, Selbstgefährdung, Gewalt oder sensiblen personenbezogenen Daten umgehen.
Nutzen Sie bereits KI-Systeme in Ihrem Unternehmen oder planen Sie den Einsatz von KI-Chatbots, Recruiting-Tools, Scoring-Systemen oder automatisierten Entscheidungsprozessen? Müssen Sie prüfen, ob Ihre Anwendung unter die Hochrisiko-Regeln der KI-VO fällt? Oder benötigen Sie Unterstützung bei Risikokategorisierung, Datenschutz, Transparenzpflichten, Betriebsratsfragen, AGG-Risiken und der vertraglichen Absicherung Ihrer KI-Projekte?
Als Kanzlei für KI-Recht begleitet SBS LEGAL Unternehmen bei der rechtssicheren Einordnung, Gestaltung und Nutzung Künstlicher Intelligenz. Verbotene KI-Anwendungen, etwa manipulative Systeme gegenüber vulnerablen Gruppen, Social Scoring oder bestimmte Formen biometrischer Echtzeitüberwachung, können erhebliche Sanktionen auslösen. Auch Hochrisiko-KI, etwa in Medizinprodukten, Fahrzeugtechnik, Kreditwürdigkeitsprüfung, Bildung, Strafverfolgung oder HR, unterliegt umfassenden Compliance-, Dokumentations-, Transparenz- und Kontrollpflichten. Gerade bei Recruiting-Tools müssen Unternehmen Diskriminierungsrisiken, AGG-Vorgaben und Mitbestimmungsrechte des Betriebsrats frühzeitig berücksichtigen. Wir unterstützen Sie dabei, KI-Projekte sicher, praxisnah und zukunftsfähig umzusetzen.
Für weitere Rückfragen stehen wir Ihnen jederzeit gerne auch telefonisch zur Verfügung. Wünschen Sie die Rechtsberatung von dem erfahrenen Team aus Fachanwälten und Spezialisten von SBS LEGAL?