Rechtsanwalt & Spezialist für Kryptorecht & KI-Recht, Zertifizierter Geldwäschebeauftragter (TÜV)
T (+49) 040 / 7344 086-0
Rechtsanwältin & Expertin für Kryptorecht und Markenrecht
T (+49) 040 / 7344 086-0
| KI-Recht
Blog News
Kann eine KI diskriminieren, obwohl sie eigentlich neutral programmiert wurde? Genau diese Frage rückt immer stärker in den Fokus von Recht, Politik und Wirtschaft. Denn moderne KI-Systeme treffen längst Entscheidungen, die direkten Einfluss auf den Alltag von Menschen haben – etwa bei Bewerbungen, Kreditvergaben oder Personalentscheidungen.
Das Problem liegt in den Daten, mit denen die Systeme trainiert werden. Wenn historische Datensätze bereits gesellschaftliche Ungleichheiten enthalten, kann eine KI diese Muster unbewusst übernehmen und weiter verstärken. Die Folge?
Es entstehen Situationen, in denen Algorithmen etwa männliche Bewerber häufiger mit Führungspositionen verbinden oder Frauen statistisch schlechter bewerten. Gerade in sensiblen Bereichen wie Personalentscheidungen oder Bonitätsprüfungen stellt sich daher zusehends die Frage, wie sich solche automatisierten Diskriminierungen rechtlich einordnen und verhindern lassen. Genau das schauen wir uns in diesem Beitrag einmal genauer an.
Ein besonders prägnantes Beispiel lieferte ein automatisiertes Recruiting-System von Amazon. Bekannt wurde dies durch eine Reuters-Recherche von Jeffrey Dastin aus dem Jahr 2018; das System blieb nach der Berichterstattung ein internes Experiment und wurde verworfen. Das System sollte Bewerbungen effizient auswerten und besonders geeignete Kandidaten in einem stark männlich geprägten Umfeld identifizieren. Statt neutral zu filtern, übernahm die KI jedoch die Schlagseite der historischen Daten, mit denen sie trainiert worden war. Weil in den zugrunde liegenden Datensätzen vor allem männliche Bewerber erfolgreich waren, lernte das System faktisch, Männer zu bevorzugen und weibliche Bewerbungen schlechter einzuordnen. Das zeigt sehr deutlich, dass KI bestehende Ungleichgewichte im Ergebnis auch verfestigen kann.
Wie subtil solche Verzerrungen heute auftreten, zeigt auch der GesellschaftsReport BW 2-2025 mit dem Titel Zwischen Fortschritt und Vorurteil: Wie Künstliche Intelligenz Gleichstellung in Baden-Württemberg prägt. Dort wird anhand von Forschungsexperimenten beschrieben, dass selbst moderne Systeme wie ChatGPT gesellschaftliche Stereotype weitertragen. Auffällig ist dabei gerade, dass die Unterschiede oft nicht grob oder offen diskriminierend erscheinen, sondern in Sprache, Gewichtung und Ton liegen. Genau diese feinen Verschiebungen können aber Einfluss auf Karrieren, Auswahlentscheidungen und berufliche Entwicklungschancen haben.
Besonders auffällig waren dabei folgende Muster:
Gerade weil diese Unterschiede oft beiläufig wirken, sind sie so problematisch. Sie fallen weniger schnell auf, können aber trotzdem reale Auswirkungen auf Chancen und Entscheidungen haben.
Zahlreiche Studien und Umfragen deuten darauf hin, dass viele Menschen den Einfluss von Künstlicher Intelligenz auf gesellschaftliche Gleichheit kritisch sehen. Eine Umfrage aus dem Jahr 2024 ergab, dass mehr als die Hälfte der Befragten in Deutschland KI als möglichen Verstärker sozialer Ungleichheiten wahrnimmt. Besonders häufig wird befürchtet, dass gut ausgebildete oder wirtschaftlich besser gestellte Gruppen stärker von KI profitieren, während andere Gruppen Nachteile erfahren könnten.
Auch aus wissenschaftlicher Perspektive wird dieses Risiko diskutiert. Die Studie „Künstliche Intelligenz und Diskriminierung“ von Corinna Bath (2025) zeigt, dass KI-Systeme häufig auf historischen Datensätzen basieren, in denen bereits gesellschaftliche Vorurteile enthalten sind. Wenn solche Daten ungeprüft in Trainingsmodelle einfließen, können die Systeme diese Muster reproduzieren oder sogar verstärken.
Internationale Beispiele verdeutlichen diese Problematik. Die ProPublica-Analyse zu COMPAS fand höhere False-Positive-Raten bei schwarzen Angeklagten. Die Interpretation dieser Ergebnisse ist in der Forschung und von Seiten des Anbieters methodisch umstritten. Auch bei Gesichtserkennungssystemen wurden deutlich höhere Fehlerquoten bei Frauen mit dunkler Hautfarbe festgestellt. In anderen Fällen zeigte sich, dass automatisierte Systeme in Arbeitsmarkt- oder Kreditentscheidungen bestimmte Bevölkerungsgruppen benachteiligten.
Als zentrale Ursachen nennen Forschende vor allem verschiedene Formen von algorithmischen Verzerrungen, die bereits während der Entwicklung entstehen können:
Viele der Probleme bleiben lange unbemerkt, weil moderne KI-Systeme komplex funktionieren und ihre Entscheidungsprozesse für Außenstehende schwer nachvollziehbar sind. Gerade deshalb fordern Wissenschaft und Politik mehr Transparenz bei Datensätzen, interdisziplinäre Forschung sowie eine stärkere Berücksichtigung gesellschaftlicher Perspektiven bei der Entwicklung neuer KI-Systeme.
Was in der analogen Welt bereits ein Problem war, kann sich durch digitale Systeme noch verstärken. Denn sobald automatisierte Systeme bestimmte Personengruppen systematisch benachteiligen, stellt sich die Frage nach einem möglichen Verstoß gegen das Gleichbehandlungsrecht.
In Deutschland bildet Artikel 3 des Grundgesetzes den zentralen verfassungsrechtlichen Maßstab. Dort ist festgelegt, dass niemand wegen seines Geschlechts, seiner Herkunft, seiner Sprache, seines Glaubens, seiner politischen Anschauungen oder einer Behinderung benachteiligt oder bevorzugt werden darf. Das Gleichheitsgebot richtet sich zwar in erster Linie an den Staat. Über sogenannte einfachgesetzliche Regelungen wirkt es jedoch auch in den privaten Bereich hinein. Unternehmen müssen daher sicherstellen, dass ihre Entscheidungen nicht zu unzulässiger Diskriminierung führen.
Besonders relevant ist in diesem Zusammenhang der Unterschied zwischen direkter und indirekter Diskriminierung. Eine direkte Diskriminierung liegt vor, wenn Menschen offen unterschiedlich behandelt werden. Bei algorithmischen Systemen tritt jedoch häufig eine indirekte Form auf. Die verwendeten Kriterien wirken auf den ersten Blick neutral, führen in der Praxis aber dazu, dass bestimmte Gruppen systematisch benachteiligt werden. Genau diese Konstellation ist bei vielen KI-gestützten Entscheidungen denkbar.
Der rechtliche Rahmen dafür findet sich vor allem im Allgemeinen Gleichbehandlungsgesetz (AGG). Es verpflichtet Unternehmen, Benachteiligungen im Arbeitsleben und in anderen Bereichen zu verhindern. Mit der zunehmenden Nutzung automatisierter Systeme stellt sich jedoch die Frage, ob das bestehende Recht ausreichend auf algorithmische Entscheidungsprozesse vorbereitet ist. Gerade im Recruiting oder bei automatisierten Vorauswahlen können Programme Bewerbungen filtern, ohne dass ein Mensch die Entscheidung unmittelbar überprüft.
Vor diesem Hintergrund wird in der Rechtswissenschaft und Politik diskutiert, ob das AGG ausdrücklich auf Diskriminierung durch KI-Systeme ausgeweitet werden sollte. Die Antidiskriminierungsbeauftragte des Bundes hatte bereits 2023 vorgeschlagen, einen entsprechenden Schutz klarer im Gesetz zu verankern. Bislang ist jedoch keine umfassende Reform umgesetzt worden.
Damit bleibt offen, ob der bestehende Rechtsrahmen ausreichend geeignet ist, automatisierte Diskriminierung wirksam zu verhindern. Gerade bei KI-gestützten Entscheidungen im Bewerbungsprozess oder bei automatisierten Bewertungen zeigt sich, dass technische Systeme rechtliche Fragen aufwerfen, für die traditionelle Gleichbehandlungsregeln nur begrenzt vorbereitet waren.
Mit dem AI-Act hat die Europäische Union im Jahr 2024 erstmals einen umfassenden Rechtsrahmen für den Einsatz von Künstlicher Intelligenz geschaffen. Das Ziel der Verordnung ist es, Innovation zu ermöglichen und gleichzeitig klare Grenzen für besonders riskante oder missbräuchliche Anwendungen zu setzen. Damit reagiert die EU auf die Bedeutung algorithmischer Entscheidungen in Wirtschaft, Verwaltung und Gesellschaft. Die neuen Regeln sollen vor allem sicherstellen, dass KI-Systeme transparent, nachvollziehbar und mit den europäischen Grundrechten vereinbar eingesetzt werden.
Der AI-Act arbeitet mit einem risikobasierten Ansatz. Je größer die möglichen Auswirkungen eines Systems auf Menschen und ihre Rechte sind, desto strenger fallen die Anforderungen aus. Besonders bei Anwendungen, die direkt über Chancen im Berufsleben, über Kredite oder über staatliche Entscheidungen mitbestimmen, gelten künftig umfangreiche Prüf- und Dokumentationspflichten.
Zentrale Elemente der neuen Regelung sind unter anderem
Die EU-KI-Verordnung (AI Act) und die Datenschutz-Grundverordnung (DSGVO) schließen derzeit teilweise eine Lücke im deutschen Antidiskriminierungsrecht. Das Allgemeine Gleichbehandlungsgesetz (AGG) schützt zwar grundsätzlich vor Benachteiligungen etwa wegen Geschlecht, Herkunft oder Religion, stößt jedoch bei algorithmischen Entscheidungen schnell an Grenzen. Wenn etwa Bewerbungen durch automatisierte Systeme vorgefiltert werden, bleibt für Betroffene oft unklar, wie eine Entscheidung zustande gekommen ist. Solche „Black-Box“-Systeme erschweren den Nachweis einer mittelbaren Diskriminierung erheblich, weil Datenquellen und Bewertungslogiken häufig nicht offengelegt werden.
Hier setzen europäische Regelwerke an. Die KI-Verordnung verpflichtet Anbieter bestimmter KI-Systeme, insbesondere im Bereich der Personalentscheidungen, zu umfassenden Risikoanalysen sowie Dokumentations- und Transparenzpflichten. Unternehmen müssen etwa nachvollziehbar machen, wie ihre Systeme funktionieren und welche Daten sie verwenden. Dadurch entsteht zumindest eine Grundlage, um mögliche Diskriminierungen rechtlich überprüfen zu können. Ergänzend greift die DSGVO, wenn personenbezogene Daten verarbeitet werden. Sie gewährt Betroffenen unter anderem Auskunftsrechte über gespeicherte Daten und automatisierte Entscheidungsprozesse sowie zusätzliche Prüfpflichten für Unternehmen, etwa durch Datenschutz-Folgenabschätzungen.
Trotzdem sehen viele Fachleute weiterhin Reformbedarf. Weder die KI-Verordnung noch die DSGVO bieten bislang einen eigenständigen Diskriminierungsschutz oder klare Klageinstrumente speziell für Betroffene automatisierter Entscheidungen. Beide Regelwerke verbessern jedoch Transparenz und Kontrolle über KI-Systeme und können dadurch helfen, Ansprüche nach dem AGG überhaupt erst durchsetzbar zu machen. Bis zu einer möglichen Anpassung des AGG bilden sie daher eine wichtige Übergangslösung im Umgang mit algorithmischer Diskriminierung.
Die KI-Verordnung setzt bei datenbedingter Diskriminierung schon im Systemdesign an. KI mit unzulässigem Risiko ist verboten und für Hochrisiko-KI, etwa im Personalwesen, bei Kreditwürdigkeitsprüfungen oder im Bildungsbereich, gelten strenge Anforderungen an Risikomanagement, Datenqualität, Transparenz und menschliche Aufsicht. Gerade die Vorgaben zu repräsentativen und möglichst verzerrungsarmen Trainings- und Testdaten sollen verhindern, dass sich bestehende Benachteiligungen in automatisierten Entscheidungen fortsetzen.
Daneben zeigt das Thema Deepfakes, dass KI-Diskriminierung auch aktiv hervorbringen kann. Nicht einvernehmliche, sexualisierte Deepfakes betreffen ganz überwiegend Frauen und führen zu Kontrollverlust, Reputationsschäden und einem Rückzug aus digitalen Räumen. Auch deshalb stellt sich die Frage der Regulierung nicht nur bei Auswahl- und Bewertungssystemen, sondern ebenso bei generativen KI-Anwendungen. Die bestehenden Regeln der KI-VO und des DSA können hier einen rechtlichen Rahmen setzen. Entscheidend bleibt aber, ob Anbieter wirksame Schutzmechanismen tatsächlich umsetzen und Missbrauch früh begrenzen.
Während KI-Systeme bestehende gesellschaftliche Vorurteile unbewusst verstärken können, zeigt sich im Internet gleichzeitig eine andere Form digitaler Diskriminierung: gezielte Hasskommentare gegen Menschen oder Unternehmen, die für Vielfalt und gesellschaftliche Offenheit stehen.
Ein aktuelles Beispiel aus Hamburg verdeutlicht diese Entwicklung. Im Stadtteil St. Georg sorgte eine neu angebrachte Regenbogenmarkise am Café Uhrlaub für erhebliche Aufmerksamkeit in sozialen Medien. Der Inhaber hatte die Markise bewusst als sichtbares Zeichen für Vielfalt und Zusammenhalt gestaltet. Nachdem ein Foto der Markise online veröffentlicht wurde, folgte jedoch eine Welle negativer Kommentare und teilweise massiver Hassnachrichten.
Viele dieser Kommentare zielten darauf ab, den Betreiber einzuschüchtern oder öffentlich anzugreifen. Solche Reaktionen sind kein Einzelfall. Organisationen wie HateAid, die Betroffene von digitaler Gewalt unterstützen, berichten seit Jahren von einem deutlichen Anstieg entsprechender Fälle. Für die Betroffenen bleibt der digitale Hass dabei selten folgenlos. Häufig geht es den Verfassern der Kommentare gezielt darum, Angst zu erzeugen oder Menschen aus der öffentlichen Debatte zu drängen.
Im konkreten Fall wollen sich die Betreiber des Cafés gegen die Angriffe wehren und prüfen rechtliche Schritte gegen einzelne Kommentare auf Plattformen wie Instagram. Der Fall zeigt exemplarisch, wie schnell gesellschaftliche Themen im digitalen Raum eskalieren können und welche rechtlichen Fragen dabei entstehen. Genau an dieser Stelle setzt auch die juristische Bewertung an: Welche Aussagen sind noch von der Meinungsfreiheit gedeckt und wo beginnt eine strafbare Beleidigung, üble Nachrede oder gezielte Hassrede?
Das Thema war kürzlich auch Gegenstand einer Berichterstattung im NDR-Fernsehen (Sendung „DAS! Rote Sofa“). In diesem Zusammenhang wurde ebenfalls die rechtliche Perspektive auf Hasskommentare im Netz diskutiert. SBS LEGAL war als juristischer Ansprechpartner vertreten und ordnete ein, welche rechtlichen Möglichkeiten Betroffene gegen digitale Angriffe haben.
Der Fall zeigt zugleich, dass digitale Kommunikation nicht losgelöst vom Recht stattfindet. Auch im Internet gelten klare Grenzen. Wer andere Menschen öffentlich beleidigt, bedroht oder gezielt diffamiert, muss unter Umständen mit rechtlichen Konsequenzen rechnen. Gerade deshalb gewinnt die rechtliche Aufklärung über Hassrede, digitale Diskriminierung und Schutzmöglichkeiten für Betroffene zunehmend an Bedeutung.
Künstliche Intelligenz ist dennoch kein reines Risikothema. Denn jede Medaille hat auch immer zwei Seiten. So zeigt sich, dass KI gerade für Frauen und Gleichstellung spürbare Chancen eröffnen kann, wenn sie gezielt und verantwortungsvoll eingesetzt wird. Im medizinischen Bereich können KI-Systeme geschlechtsspezifische Risiken früher erkennen, etwa bei Brustkrebs oder Herzinfarkten, und damit Versorgungslücken verkleinern. Im digitalen Raum helfen spezialisierte Anwendungen dabei, Hatespeech schneller zu erkennen und Betroffene besser zu schützen. Auch in der Gründungsförderung, in Unternehmen und im Bildungsbereich kann KI Benachteiligungen sichtbar machen, etwa bei Gehalt, Karrierewegen oder Weiterbildungschancen, und so Reformen anstoßen. Zugleich entstehen neue Aufgabenfelder an der Schnittstelle von Technik, Ethik, Sprache und Gesellschaft, also gerade in Bereichen, in denen viele Frauen bereits heute stark vertreten sind.
Das eigentliche Fazit lautet daher: KI entscheidet nicht von selbst, ob sie Ungleichheit vertieft oder Gleichstellung stärkt. Wesentlich ist, mit welchen Daten, Regeln und Zielen sie entwickelt und eingesetzt wird. Genau darin liegt die politische und unternehmerische Verantwortung. Wer KI bewusst gestaltet, kann aus ihr ein Werkzeug machen, das Teilhabe verbessert, Schutzlücken schließt und neue Chancen eröffnet.
Stehen Sie vor der Frage, ob Ihr Unternehmen KI rechtskonform einsetzt? Sind Sie unsicher, welche Pflichten sich aus der EU-KI-Verordnung ergeben oder wie sich Diskriminierungsrisiken in automatisierten Prozessen vermeiden lassen?
Unser spezialisiertes Team im KI-Recht begleitet Unternehmen seit den ersten regulatorischen Entwicklungen rund um Künstliche Intelligenz. Wir unterstützen Start-ups ebenso wie etablierte Unternehmen bei der rechtssicheren Einführung und Nutzung von KI-Technologien. Dazu gehören unter anderem die Prüfung Ihrer Systeme in Hinblick auf die Anforderungen der KI-Verordnung, die Entwicklung geeigneter Compliance-Strukturen sowie die rechtliche Bewertung technischer Schutzmaßnahmen. So stellen wir sicher, dass Ihre KI-Projekte nicht nur innovativ, sondern auch rechtlich belastbar und zukunftsfähig umgesetzt werden.
Für weitere Rückfragen stehen wir Ihnen jederzeit gerne auch telefonisch zur Verfügung. Wünschen Sie die Rechtsberatung von dem erfahrenen Team aus Fachanwälten und Spezialisten von SBS LEGAL?