Antidiskriminierungsbeauftragte will Schutz vor digitaler Diskriminierung ausweiten
"KI macht vieles leichter - leider auch Diskriminierung. Ob in Bewerbungsverfahren, bei Bankkrediten, Versicherungen oder der Vergabe staatlicher Leistungen: Immer öfter übernehmen automatisierte Systeme oder Künstliche Intelligenz Entscheidungen, die für Menschen im Alltag wichtig sind. Hier werden Wahrscheinlichkeitsaussagen auf der Grundlage von pauschalen Gruppenmerkmalen getroffen. Was auf den ersten Blick objektiv wirkt, kann automatisch Vorurteile und Stereotype reproduzieren. Die Gefahren digitaler Diskriminierung dürfen wir auf keinen Fall unterschätzen", sagte Ataman.
Die Bundesbeauftragte verwies auf das Beispiel Niederlande. In der dortigen "Kindergeldaffäre" wurden im Jahr 2019 zu Unrecht mehr als 20.000 Menschen unter hohen Strafandrohungen aufgefordert, Kindergeld zurückzuzahlen. Mitverantwortlich war ein diskriminierender Algorithmus in der Software, betroffen waren vor allem Menschen mit doppelter Staatsbürgerschaft. Die Affäre führte 2021 zum Rücktritt der Regierung.
In den USA benachteiligten fehlerhaft programmierte Algorithmen bei Apple-Kreditkarten systematisch Frauen bei der Kreditvergabe, in Australien sollten nach einem Fehler eines KI-gestützten Entscheidungssystems hunderttausende Sozialhilfeempfänger*innen Geld zurückzahlen ("Robodebt"-Skandal). Das Muster war dabei stets das gleiche: Für die Betroffenen war es kaum nachvollziehbar, wie die Entscheidungen zustande kamen. Und die Verursachenden - staatliche Stellen ebenso wie Unternehmen - verließen sich auch dann noch auf die automatisierten Entscheidungssysteme, als längst klar war, dass sie fehlerhaft waren.
Auch das am Mittwoch vorgestellte Gutachten sieht in der Fehleranfälligkeit automatisierter Entscheidungssysteme ein zentrales Problem: Die Qualität digitaler Entscheidungen hänge wesentlich von den Daten ab, die in das System eingespeist werden. Ob diese fehlerfrei sind oder für ihren Zweck überhaupt geeignet waren, sei in der Regel weder für die Verwender*innen noch für die Adressat*innen der Systeme nachvollziehbar. Den Betroffenen ist häufig gar nicht bewusst, dass ein KI-System zum Einsatz gekommen ist. Zudem sind Informationen über die Arbeitsweise der Systeme in der Regel nicht zugänglich. Somit sind die Möglichkeiten, Diskriminierungen durch KI-Systeme zu erkennen und gegen sie vorzugehen, stark eingeschränkt.
Die Studie kommt zu dem Ergebnis, dass Regelungslücken im Allgemeinen Gleichbehandlungsgesetz (AGG) verhindern, dass der bestehende Rechtsschutz bei Diskriminierungen durch KI-Systeme wirkt. Ataman schlägt daher vor, den Schutz vor KI-basierter Diskriminierung im AGG zu verankern, um Betroffene besser zu schützen.
Konkret nannte die Unabhängige Bundesbeauftragte:
- Die Erweiterung des Anwendungsbereichs des AGG. Künftig sollte "Handeln durch automatisierte Entscheidungssysteme" als Benachteiligung in § 3 AGG aufgenommen werden.
- Auskunfts- und Offenlegungspflichten von Betreiber*innen von KI-Systemen, um einen Einblick in die genutzten Daten und in die Funktionsweise des Systems zu ermöglichen.
- Die Einrichtung einer unabhängigen Schlichtungsstelle bei der Antidiskriminierungsstelle des Bundes sowie die Regelung eines verpflichtenden Schlichtungsverfahrens im AGG.
- Anpassung der Beweislastregel: Bislang müssen Betroffene vor Gericht Indizien einer Diskriminierung vorlegen, damit die Beweislasterleichterung des AGG greift. Betroffene haben aber keine Kenntnisse über die Funktionsweise des KI-Systems und können in die "Black Box" digitaler Entscheidungen nicht hineinschauen. Verantwortliche von KI-Systemen sollten deshalb vor Gericht die Beweislast tragen, wenn sie ein solches System eingesetzt haben. Ähnliche Regelungen zur Beweislasterleichterung stehen bereits in den EU-Richtlinien zum Schutz vor Diskriminierung und in der von der EU-Kommission vorgeschlagenen KI-Haftungsrichtlinie.
Link zum Rechtsgutachten "Automatisch benachteiligt - Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme".
Hintergrund:
Die Antidiskriminierungsstelle des Bundes (ADS) ist 2006 mit Inkrafttreten des Allgemeinen Gleichbehandlungsgesetzes (AGG) gegründet worden. Ziel des Gesetzes ist es, Diskriminierung aus rassistischen oder antisemitischen Gründen, wegen des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität zu verhindern oder zu beseitigen. Die ADS berät rechtlich, kann Stellungnahmen einholen und gütliche Einigungen vermitteln. Sie betreibt Forschung und Öffentlichkeitsarbeit zum Thema Diskriminierung. Seit 2022 wird die Leitung der Stelle als Unabhängige Bundesbeauftrage für Antidiskriminierung vom Deutschen Bundestag gewählt.
Mehr zum Thema:
Aufsatz:
ChatGPT und das Arbeitsrecht
Thomas Niklas, ArbRB 2023, 268
Aufsatz:
Betriebsratsbeteiligung bei Einsatz Künstlicher Intelligenz
Florian Wortmann, ArbRB 2023, 272
Rechtsprechung:
Verfassungsrechtliche Anforderungen an die automatisierte Datenanalyse
BVerfG vom 16.02.2023 - 1 BVR 1547/19
CR 2023, 365
Auch nachzulesen im Aktionsmodul Arbeitsrecht:
Für klare Verhältnisse sorgen: Mit den Inhalten der erstklassigen Standardwerke zum Arbeitsrecht. Bearbeiten Sie zahlreiche bewährte Formulare auch mit LAWLIFT. Selbststudium nach § 15 FAO. HWK und Tschöpe, ArbRB, ZFA und vieles mehr. Fachkundig aufbereitete Darstellungen und Analysen aller wichtigen Entscheidungen mit praxisorientierten Beraterhinweisen und Musterformulierungen. 4 Wochen gratis nutzen!