03.02.2026 | Compliance, Internetrecht

Deepfakes auf X: EU-Verfahren nach dem Digital Service Act

Der Skandal um Grok: Sexualisierte Bilder auf Knopfdruck

Die Ära der generativen Künstlichen Intelligenz (KI) erreicht ihren ersten großen juristischen Wendepunkt in Europa. Die EU-Kommission hat ein offizielles Verfahren gegen die Social-Media-Plattform X (ehemals Twitter) wegen Deepfakes eingeleitet. Im Mittelpunkt steht der in X integrierte KI-Chatbot Grok, der es Nutzerinnen und Nutzern zeitweise ermöglichte, Bilder realer Personen ohne deren Einwilligung zu sexualisieren und auf X zu teilen. Betroffen waren dabei auch Minderjährige, was den Fall besonders brisant macht. In diesem Artikel erfahren Sie, warum das EU-Verfahren nach dem Digital Service Act (DSA) für Elon Musk nun zu einer existenziellen Bedrohung für das Geschäftsmodell von X in Europa wird. 

Sexualisierte Deepfakes auf X

Über Wochen hinweg stand X in der Kritik, da Nutzer den KI-Chatbot Grok dazu instrumentalisierten, täuschend echte, sexualisierte Bilder von realen Personen zu generieren. Nach den bisherigen Erkenntnissen konnten Nutzer Grok gezielt anweisen, hochgeladene Fotos zu verändern und Frauen oder Mädchen in sexualisierter Weise darzustellen. Laut der NGO Center for Countering Digital Hate (CCDH) wurden allein zwischen Ende Dezember und Anfang Januar rund 3 Millionen sexualisierte Bilder erstellt, darunter etwa 23.000 Darstellungen von Kindern. Henna Virkkunen, die EU-Kommissarin für Digitales, begründete die Untersuchung damit, dass nicht einvernehmliche sexuelle Deepfakes von Frauen und Kindern eine gewalttätige, inakzeptable Form der Erniedrigung seien. 

Vorwurf: Unzureichende Risikoprüfung vor Einführung von Grok

Nach Ansicht der EU-Kommission hat X möglicherweise systematische Risiken, die von Grok ausgehen, nicht hinreichend identifiziert und begrenzt, bevor der KI-Chatbot breit ausgerollt wurde. 

Die Untersuchung konzentriert sich auf zwei Kernpunkte: 

1. Mangelnde Risikobewertung: Hat X vor der Einführung von Grok die Gefahren für geschlechtsspezifische Gewalt und das geistige Wohlbefinden der Nutzer gemäß Art. 34 DSA geprüft? 

2. Unzureichende Schutzmaßnahmen: Wurden genügend Schritte unternommen, um den Missbrauch der KI zu verhindern (Art. 35 DSA)?

Gerade für sehr große Online-Plattformen (VLOPs) schreibt der DSA in Art. 34 und 35 vor, dass potenzielle Risiken - etwa für Grundrechte, den Jugendschutz oder die körperliche und psychische Unversehrtheit - vorab zu analysieren und durch geeignete Maßnahmen zu minimieren sind. Solche Maßnahmen zur Risikominderung können technische Schutzmechanismen oder Einschränkungen bestimmter Funktionen sein. Nach Ansicht der EU-Kommission könnte X diese Pflichten verletzt haben, wenn Grok ohne ausreichende präventive Schutzvorkehrungen eingeführt wurde. Nach dem DSA wird dafür ein dokumentiertes, fortlaufendes und präventives Risikomanagement gefordert. 

Welche Konsequenzen drohen X nach dem DSA?

Die Einleitung des Verfahrens stellt noch keinen Nachweis eines Verstoßes dar. Sie ermöglicht der EU-Kommission jedoch weitreichende Ermittlungsmaßnahmen, etwa die Anforderung interner Unterlagen, die Befragung von Mitarbeitenden oder technische Prüfungen. Sollte sich ein DSA-Verstoß bestätigen, drohen hohe Bußgelder oder verbindliche Auflagen. Bei Verstößen gegen den DSA kann die EU-Kommission Bußgelder von bis zu 6 Prozent des Vorjahresumsatzes verhängen. Als äußerstes Mittel drohen sogar Einschränkungen einzelner Funktionen innerhalb der EU. Eine komplette Sperre von Grok in der EU gilt zwar als letztes Mittel, ist aber nicht völlig ausgeschlossen, sollte X keine ausreichende Kooperation zeigen. 

Politische Spannungen: EU vs. USA

Während Ursula von der Leyen betont, dass Europa den Schutz von Frauen und Kindern nicht an Tech-Konzerne delegiert, verschärft sich der Ton aus den USA. Die US-Regierung unter Donald Trump reagierte bereits auf frühere Sanktionen mit scharfer Kritik und Einreiseverboten für EU-Beamte. Elon Musk forderte öffentlich die Abschaffung der EU. Brüssel zeigt sich jedoch unbeeindruckt und priorisiert die digitale Sicherheit der Bürger vor diplomatischen Befindlichkeiten. 

Wie geht es für X-Nutzer weiter?

X reagierte erst unter massivem öffentlichen und politischen Druck. Zunächst wurde die Bildgenerierung auf zahlende Nutzer beschränkt, später folgten weitere technische Einschränkungen. Nach Auffassung der EU-Kommission sind diese Maßnahmen jedoch nicht ausreichend, um mögliche frühere Verstöße zu entkräftigen. Entscheidend ist, ob X bereits vor der Einführung von Grok eine ordnungsgemäße Folgenabschätzung vorgenommen und wirksame Schutzmechanismen implementiert hat. Nachträgliche Korrekturen schließen eine DSA-Verletzung nicht automatisch aus. 

SBS LEGAL - Ihre Kanzlei für das Internetrecht

Der Fall zeigt exemplarisch, welche hohen Anforderungen der Digital Service Act an große Online-Plattformen stellt und wie stark sich das europäische Internetrecht derzeit im Spannungsfeld zwischen Innovation, Grundrechtsschutz und Plattformverantwortung weiterentwickelt. Unternehmen, die digitale Dienste, KI-Systeme oder Online-Plattformen betreiben, müssen sich frühzeitig mit den umfangreichen Compliance-Pflichten des DSA auseinandersetzen. Plattformbetreiber müssen Risiken nicht nur erkennen, sondern aktiv und präventiv begrenzen. Insbesondere bei Deepfakes, sexualisierten Inhalten und dem Schutz von Minderjährigen gelten besonders hohe Maßstäbe. 

Haben Sie Fragen zu den Anforderungen des DSA?

Unsere auf das Internetrecht spezialisierten Anwältinnen und Anwälte beraten Unternehmen umfassend zu den Anforderungen des DSA, zur rechtssicheren Einführung digitaler Produkte sowie zur strategischen Risikominimierung in einem zunehmend regulierten digitalen Umfeld. 

Der Erstkontakt zu SBS Legal ist immer kostenlos.

Zurück zur Blog-Übersicht