Das grundrechtlich verbürgte "Recht auf verdeckte Diskriminierung" aus Art. 22 DSGVO? KI und Bewerberauswahl

Wie gehe ich als Personalerin oder Personaler eigentlich mit dem "vorläufigen KI-Bewerberfavoriten" um, der aufgrund eines "Bauchgefühls" nicht ins Team passt und der daher bisher nicht eingestellt worden wäre?

Provokante Überschriften wie hier zum Blog sind heutzutage oft zu Recht dem Vorwurf des "Clickbaiting" ausgesetzt. Manchmal scheinen sie als notwendiger Impuls aber durchaus geboten. Vor allem, um so bislang eher vernachlässigte Aspekte in einer Grundsatz- (und Grundrechts-) Debatte im Interesse der Praxis ggf. etwas fokussierter in den Blick zu nehmen.

Auf der Suche nach einer Antwort auf die Eingangsfrage (und die Frage aus der Überschrift) skizziert der vorliegende Blog-Beitrag zu "KI und Bewerberauswahl" anhand eines einfachen Beispielsfalls daher

• einleitend unter I., was bislang faktisch "identitätsprägend" für eine autonome Entscheidung einer "natürlichen Person" - also in der Regel "HR" - im Rahmen eines Einstellungsprozesses war,

und

welche neuen Spannungsfelder bereits rein faktisch durch den Einsatz "diskriminierungsfreier KI-Software" entstehen, wenn deren Einsatz der autonomen Entscheidung der "natürlichen Person" künftig regelmäßig vorgelagert sein wird,

• sodann unter II., warum vor allem das klassische Antidiskriminierungsrecht diesen neuen Herausforderungen des KI-Zeitalters bislang nur bedingt gerecht wird und daher dort ein gewisses Umdenken und ggf. auch ein differenzierter Ansatz dringend geboten erscheint,

• unter III. warum sich diese rechtlichen Probleme - unabhängig vom späteren Inkrafttreten der KI-VO - bereits jetzt nach geltendem Recht der DSGVO überall dort stellen, wo KI im Bewerbungsverfahren bereits eingesetzt wird,

• unter IV., wie angesichts diese Fazits daher damit einstweilen in der Praxis umgegangen werden sollte, um unnötige Spannungsfelder und Risiken zu vermeiden.

I. Einleitung und Problemaufriss

1. Das Thema: KI und Diskriminierung

Kaum ein Thema dürfte im bisherigen "Fortbildungsherbst" veranstaltungs- und rechtsgebietsübergreifend so viel Raum eingenommen haben, wie das Thema KI.

Vollkommen zu Recht wird dabei auch vor allem auf die Gefahr verwiesen, dass bei falscher algorithmischer Schwerpunktsetzung Diskriminierungen Tür und Tor geöffnet sind. Im Arbeitsrecht wird dies vor allem beim Einsatz von KI im Rahmen der Bewerber(vor)auswahl problematisiert.

2. Die bisherige Lösung: Transparenz der KI und menschliche Aufsicht

Über dieses Problem und seine (vermeintliche) Lösung scheinen sich bislang eigentlich alle einig zu sein:

a. KI-VO...

Trotz mehrerer hundert Seiten Umfangs adressiert die KI-VO das Problem zunächst pointiert in Art. 10 Abs. 2 (f) unter "Daten und Daten Governance" und der Notwendigkeit einer "Untersuchung im Hinblick auf mögliche Verzerrungen (Bias)").

Und präsentiert zudem wenige Artikel später in Art. 14 ein zusätzliches Sicherheitsnetz:

Die "menschliche Aufsicht durch natürliche Personen".

b. ...und ihre Anwendung

Die ebenfalls nicht mehr geringe Anzahl an Veröffentlichungen zur KI-unterstützen Bewerberauswahl stellt die grundsätzliche Eignung eines solchen Ansatzes für die Praxis bislang ebenfalls nicht in Frage.

Streit besteht nur darüber, welche Kontrollintensität für erforderlich gehalten wird:

Für die einen muss jeder Aspekt des Algorithmus, der später zu einem (Zwischen)Ergebnis führt, vorab transparent sein. Zudem muss so das (Zwischen)Ergebnis der KI von der letztentscheidenden "natürlichen Person" nochmals auf eine mögliche Diskriminierung untersucht werden. Sonst bestünde die Gefahr, dass am Ende doch allein die KI unkontrolliert eine nicht diskriminierungsfreie Entscheidung träfe.

Für die anderen entwertet dies jeglichen Nutzen, da bei einer solchen Vollprüfung jede Zeitersparnis durch die KI marginalisiert würde.

Dass so jeweils am Ende die bisherigen "menschlichen Entscheidungsspielräume" in der Praxis ernsthaft erhalten bleiben, scheint für beide Ansätze bisher außer Frage zu stehen.

3. Das ungelöste Problem für die Praxis:

Der "KI-Favorit", der aufgrund eines "Bauchgefühls" nicht ins Team passt und der daher bisher nicht eingestellt worden wäre.

a. Der ungeklärte Maßstab für "bias" und "Verzerrungen" auf KI-Ebene

Kaum problematisiert wird hingegen, dass es bislang überhaupt keinen verlässlichen Maßstab dafür gibt, wann einzelne Aspekte auf KI-Ebene bereits als "biased" bzw. "Verzerrung" zu bewerten wären.

Die insoweit denkbare Spannbreite lässt sich auch für juristische Laien ohne Schwierigkeiten aus den zahlreichen gesellschaftlichen Diskussionen -vom "Gendern" bis zur "Quote"- ablesen. Ebenso vielschichtig sind die bisherigen Einschätzungen in der Fachliteratur.

Schon dies stellt den Praktiker bereits im ersten Schritt des Art. 10 Abs. 2 (f) KI-VO bei der Überprüfung der Tauglichkeit der KI vor ihrem Einsatz vor daher kaum rechtssicher lösbare Probleme.

Die eigentliche "Zeitenwende" für Bewerbungsprozesse erfolgt aber vor allem auf der 2. Ebene. Deutlich wird dies vor allem, wenn man den bisherigen und und den künftigen Auswahl-Prozess mit KI in der HR-Praxis einander gegenüberstellt:

b. die bisherige (analoge) Auswahl durch Letztentscheidende

Der bisherige, "analoge" Prozess zur endgültigen Entscheidung für eine Bewerberin oder einen Bewerber spielt sich bislang in der Praxis in erster Linie "im Kopf" der Letztentscheidenden ab.

Es gibt dabei naturgemäß

"hard facts", bspw.:

- Qualifizierungen - Abschlussergebnisse - Berufserfahrung

und

"soft facts", bspw.:

- Vergleichbarkeit der "hard facts" bei unterschiedlichen Arbeitgebern und Ausbildungsstätten, - persönlicher Eindruck - "Bauchgefühl"

Wenn die "hards facts" der potentiellen Kandidaten allzu sehr abweichen, mag die Dokumentation der "soft facts" zwar regelmäßig umfangreicher ausfallen. Sind sie jedoch -wie im Regelfall- ähnlich, beschränken sie sich in der Regel auf einige Allgemeinplätze und bleiben bisher ansonsten  "im Vorborgenen".

Es bestehen somit individuell geprägte Entscheidungsspielräume, die ggf. zwar Angriffsflächen böten, nach außen aber nicht weiter begründet und auch nicht dokumentiert werden müssen. Genau diese individuelle Prägung, das nur bedingt voraussehbare Ergebnis macht die Entscheidung einer "natürlichen Person" regelmäßig aus.

Dies mögen die folgenden beiden beiden Beispiele illustrieren:

Man könnte an den Inhaber eines kleinen südländischen Spezialitäten-Restaurants mit drei Kellnern denken, dessen Auswahl nicht auf die gestandene männliche, norddeutsch-blonde Fachkraft für Gastronomie mit 20 Jahren Berufserfahrung, sondern die ungelernte südländische Studentin fällt. Herkunft, Alter, Geschlecht und Qualifikation der drei Protagonisten wären in einem vergleichbaren Beispiel im Übrigen beliebig austauschbar. Für die Inhaberin eines deutschen Spezialitätenrestaurants, das der gestandenen weiblichen südländischen Fachkraft den ungelernten norddeutsch-blonden Studenten vorzieht, mag nichts anders gelten.

Am Ende mag in beiden Fällen - trotz des ggf. ersten Eindrucks - die Herkunft gar keine tragende Rolle gespielt haben.

Denn am Ende steht hinter dem Ergebnis ja regelmäßig kein algebraisch nachvollziehbarer Berechnungsvorgang aus bspw. 20 % Herkunft, 40 % Qualifikation und 15 % Alter und 25 % Geschlecht, sondern vor allem ein "Ja" oder ein "Nein". Denn unbestritten hat der oder die Letztentscheidende - anders als jeder bewertende "Außenstehende" - selbst das größte Interesse daran, den oder die "Richtige(n)" fürs Team und für das Unternehmen einzustellen.

"Identitätsprägend" ist bislang somit eine Mischung von rationalen und emotionalen und so ggf. auch irrationalen Aspekten, bei der gerade die letzten beiden keiner "Begründung" bedürfen - schon weil eine solche häufig nicht möglich ist.

c. die künftige Auswahl im Zeitalter von KI

Schritt 1: die (limitierte) Vorauswahl der KI

Ein solches "Privileg" - in Form einer weitgehenden Intransparenz der Entscheidung - gestehen die zuvor skizzierten Lösungsansätze dem Algorithmus der KI jedoch nicht zu. Jedes noch so kleine Detail wäre nach wohl überwiegendem Verständnis offenzulegen. Unabhängig vom bislang unklaren Maßstab, was genau eine Verzerrung oder bias ist:

Schon mit Blick auf die aktuelle rechtliche Definition einer mittelbaren Diskriminierung dürfte es bei zahlreichen Kriterien bereits vorab Angriffsflächen geben.

Eine Vielzahl von Kriterien, die die beiden menschlichen Entscheider bislang ggf. (auch) mitberücksichtigt hätten, wären dann zu streichen.

In einer idealen Welt präsentiert dann die KI - nach den so erfolgten Vorab-Korrekturen - eine letztlich allein auf wenigen "hard facts" basierende "diskriminierungsfreie Entscheidung" für den/die (technisch) besten Kandidaten/Kandidatin.

Eine solchen Weg geht bspw. auch §§ 24, 14 Abs. 1 Nr.1, 14 Abs. 4 des aktuellen Referentenentwurfs des BMAS zum Beschäftigtendatenschutz vom 8.10.2024, der sich dabei relativ wortgleich an § 8 AGG orientiert und damit allein auf "wesentliche und entscheidende berufliche Anforderungen" abstellt.

In den beiden zuvor erwähnten Beispielen wäre das KI-Zwischenergebnis der beiden "Idealbewerber" - nach diesem eingeschränkten Maßstab - klar auszumachen. Es entspräche jedoch nicht der jeweils hier skizzierten Präferenz des/der Letztentscheidenden:

Die beiden Studenten würden nicht vorgeschlagen.

Schritt 2: Die (digital modifizierte) menschliche "Letztentscheidung"

Warum also "Zeitenwende"?

Anders als bisher sehen sich Letztentscheidende mit der konkreten "diskriminierungsfreien KI-Empfehlung" konfrontiert. Wenn sie davon abweichen wollen, müssen sie dies - zwangsläufig  und anders als bisher - nach außen begründen.

Jeder transparent werdende Aspekt kann und wird sodann zudem unweigerlich den gleichen Maßstäben zu unterwerfen sein, wie dies zuvor bei der KI der Fall war.

Was wird daher anders sein?

Allgemeinplätze wie bisher dürften dann kaum noch genügen. Denn eine abweichende Entscheidung ohne transparente Begründung dürfte nicht selten zumindest ein Diskriminierungsvorwurf - in unseren beiden Beispielsfällen bspw. wegen des jeweils anderen Geschlechts oder der anderen Herkunft - unwidersprochen im Raum stehen. Oft wird es aber bei "soft facts" für mehr schlicht nicht reichen.

Am Ende dürfte damit faktisch ein Ergebnis stehen, das ggf. so gerade nicht gewollt war:

Nämlich, dass bisher mögliche Entscheidungsspielräume nunmehr weitgehend eingeebnet sind. Denn künftig dürften daher vor allem "soft facts", die wie aufgezeigt vor allem für die Entscheidung einer "natürlichen Person" in der Bewerberauswahl "identitätsprägend" sein dürften, kaum noch ohne rechtliches Risiko in die Entscheidung einfließen können.

Wie sich somit insbesondere "angestellte Letztentscheidende" in nahezu allen Fällen nachvollziehbarerweise risikoaffin dann entscheiden dürften, sollte auf der Hand liegen.

In so voraussehbarer, geradezu paradoxer Konsequenz ist damit zeitnah die Entbehrlichkeit des menschlichen Letztentscheiders im Bewerbungsprozess damit quasi "systemimmanent".

Obwohl Art. 14 KI-VO eigentlich das Gegenteil zu suggerieren scheint. Und wohl auch das Gegenteil gewollt war.

d. das Dilemma und seine möglichen Lösungen

Dieses Dilemma resultiert ist in erster Linie daraus, dass bereits der europäische Gesetzgeber die Prozessschritte "Diskriminierungsfreie KI-Daten-Governance" und "menschliche Aufsicht" als quasi doppeltes Netz nur isoliert betrachtet zu haben scheint.

Und so offensichtlich nicht erkannt hat, dass es mit dem algorithmisch-digitalen, (ggf. inhaltlich limitierten)  "ersten Sicherheitsnetz" zwangsläufig neue faktische Spannungsfelder für das vermeintlich bekannte analoge "zweite Sicherheitsnetz" gibt, die es dort - mangels vorgelagerter KI-Empfehlung - so bislang noch nicht gab.

Und diese Abfolge dürfte so faktisch künftig einen massiven Effekt auf das haben, was bislang eigentlich "identitätsprägend" für die Entscheidung einer natürlichen Person war.

Für die Lösung dieses Dilemmas gibt es drei denkbare Möglichkeiten:

Lösungsmöglichkeit 1: keine Vorgaben für die KI

Es wäre zum einen theoretisch denkbar, dem KI-Modell daher schlicht gar keine Vorgaben im Rahmen einer Vorab-Analyse zu machen und die Überprüfung und Korrektur des "KI-Zwischenergebnisses" allein auf die zweite, menschliche Ebene zu verlagern.

Lösungsmöglichkeit 2: nicht justiziables Einschätzungsermessen der natürlichen Person

Es wäre möglich, der natürlichen Person ein weites "Einschätzungsermessen" einzuräumen, welches dann einer rechtlichen Überprüfung entzogen ist.

Lösungsmöglichkeit 3: Ein "Antidiskriminierungsrecht 4.0"

Bei den diskriminierungsrelevanten Vorgaben und Einschränkungen für die KI ist ein eigenständiger Ansatz zu entwickeln, bei dem - abweichend zu § 8 AGG und §§ 24, 14 Entwurf Beschäftigten-Datenschutz - insbesondere auch Raum für Aspekte gelassen wird, die für die Art der auszuübenden Tätigkeit oder der Bedingungen ihrer Ausübung eben gerade keine "wesentliche und entscheidende berufliche Anforderung" darstellen.

II. Ein "Antidiskriminierungsrecht 4.0" für die KI?

Aus mehreren Gründen scheint allein eine nähere Auseinandersetzung mit der dritten Lösungsmöglichkeit zielführend.

Die ersten beiden Varianten führen - angesichts ihrer "extremen" Ausprägung - unweigerlich zu rechtlichen Spannungsfeldern mit übergeordnetem Recht, insbesondere der KI-VO, und dürften daher so pauschal eher nicht umsetzbar sein.

Die KI-VO selbst eröffnet allerdings in Art 2 Abs. 11 KI-VO bewusst Gestaltungsspielräume für das Arbeitsrecht. Vor allem aber stehen in den bereits erwähnten Abwägungsvorgängen der Art. 10 und 14 KI-VO, die Sicherung von Grundrechten und die dafür notwendigen Abwägungsprozesse im Mittelpunkt.

1. Aktuelle Herausforderungen im Antidiskriminierungsrecht jenseits der KI

Diskussionen über etwaige Modifikationen, gar Einschränkungen im Bereich des Antidiskriminierungsrecht haben - mehr als alles andere - das Potential, schnell zu Irritationen und damit vor allem zu höchst emotionalen Reaktionen zu führen.

Erst recht, wenn dies wie hier im Kontext mit der "Blackbox" KI erfolgt.

Daher soll kurz skizziert, welche Herausforderungen - unabhängig von KI - dort mittlerweile ohnehin zu meistern sind.

a. Herausforderungen in den USA

Aus europäischer Sicht eignen sich für eine solche Betrachtung vor allem Länder wie bspw. die USA, die dieses Thema schon deutlich länger bespielen. Dass der US-Supreme Court dort im Sommer vergangenen Jahres ein Förderprogramm von Universitäten zur Zulassung benachteiligter Bevölkerungsgruppen als verfassungswidrig eingeordnet hat, mag der eine oder andere den dortigen Richterwechseln zuordnen.

Wie komplex allerdings dort generell Zugangsfragen geworden sind, wenn sich über den Aspekt der mittelbaren Diskriminierung faktisch immer eine Gruppe auf eine Benachteiligung berufen kann, zeigte in den USA im vergangenen Jahr bspw. der Fall Coalition for TJ v. Fairfax County School Board. Dort war zugunsten traditionell benachteiligter Gruppen der Prozentsatz garantierter Schulplätze für die jahrgangsbesten Schüler gesenkt worden. Geklagt hatte dann jedoch - mit einer Interessenvertretung asiatisch-stämmiger Amerikaner - gerade eine solche Gruppe, die nämlich im Ergebnis faktisch als einzige Ethnie dadurch benachteiligt wurde.

b. Herausforderungen für den EuGH

Auch der EuGH hatte letztes Jahr nach Vorlage des 8. Senats in der Rechtssache C-518/22 (ArbRB 2024, 3 [Schewiola]) bspw. darüber zu entscheiden, ob ein schwerbehinderter Mensch bereits in einer Stellenbeschreibung für eine persönliche Assistenz Alterswünsche äußern könne. Auch hier stand ein grundrechtlicher Konflikt zwischen individueller Handlungsfreiheit Diskriminierungsverbot im Mittelpunkt.

2. Rückschlüsse für den Bewerbungsvorgang mit KI-Beteiligung

Ohne dazu weiter ins Detail gehen zu müssen, wird angesichts dieser Problemstellungen erkennbar, dass für eine am Ende diskriminierungsfreie Entscheidung eher ein von vorneherein offener Prozess mit einer Vielzahl an Daten spricht, um so am Ende einer zweistufigen Entscheidung "KI und Mensch" den Grundrechtspositionen aller Beteiligten gerecht werden zu können.

Im Beispielsfall könnten dabei nämlich nicht nur die Grundrechtspositionen der Inhaber der Spezialitätenrestaurants in den Blick zu nehmen sein, sondern auch vor allem die beiden Studenten als letztlich präferierte Bewerber. Deren Einstellung wären nämlich - bei einem vorherigen reduzierten "KI-Blick" auf die "hard facts" - künftig kaum noch gegenüber dem anderen Kandidaten "diskriminierungsfrei argumentierbar" gewesen. In einem rein analogen Bewerbungsprozess, wie er bisher ohne KI stattfindet, wäre dies hingegen nicht der Fall gewesen.

Es ist daher zu hoffen, dass der künftige Gesetzgeber bis zu einer endgültigen Regulierung im Beschäftigtendatenschutz die faktische Wirkung eines aktuell limitierten Bewerber-Profiling in den Blick nimmt und hierfür eine abweichende Lösung findet. Insbesondere mit Blick auf die vor allem nach Art 14 KI-VO gebotene "Sicherung der Grundrechte" aller Bewerber scheint der restriktive Ansatz in §§ 24,14 des aktuellen Referentenentwurfs des BMAS zum Beschäftigtendatenschutz vom 8.10.2024 insoweit optimierungsbedürftig.

III. Bereits bestehende Herausforderungen für Unternehmen

Unabhängig vom vollständigen Inkrafttreten der KI-VO stellt sich die Frage, ob und inwieweit sich zuvor skizzierte Spannungsfelder zudem bereits gegenwärtig stellen.

Hier entfaltet nach den letztjährigen Entscheidungen des EuGH insbesondere die DSGVO zum Umfang des Auskunftsanspruchs aus Art. 15 DSGVO und zu Art. 22 DSGVO zumindest "rechtlich" bereits jetzt eine erhebliche Wirkmächtigkeit. Dies wird sich angesichts Art. 2 Abs. 7 KI-VO auch mit vollständigem Inkrafttreten der KI-VO nicht ändern.

Insbesondere Art. 15 DSGVO hat bereits jetzt "rechtlich" das Potential, im Wege "notwendiger Kontextinformation" Schwachstellen eines teilautomatisierten Bewerbungsprozesses aufzudecken.

Jeder Praktiker weiß jedoch auf der anderen Seite, wieviel tatsächlicher Aufwand für Bewerber damit "faktisch" verbunden ist, wenn dem Anspruch aus Art. 15 DSGVO mit einer dezidierten Kommunikationsstrategie entgegengetreten wird.

Dass diese stets auch ein Bußgeldrisiko beinhaltet, nützt diesen persönlich wenig. Insoweit dürfte sich das tatsächliche Risiko für die meisten Unternehmen in Grenzen halten und allein bei sehr großen Einheiten verstärkt in den Blick genommen werden.

IV. Fazit und Handlungsempfehlungen

Fazit

Bereits die beiden recht überschaubaren Beispielsfälle dürften deutlich gemacht haben, welche vor allem faktischen Veränderungen und Risiken für alle Beteiligten mit einer "KI-Vorauswahl" einhergehen.

In der dazu geführten Debatte schient - auch mit Blick auf §§ 24, 14 Entwurf Beschäftigten-Datenschutz - bislang noch nicht ausreichend berücksichtigt, dass eine Datenminimierung in einem vorgelagerten automatisierten Vorauswahlprozess faktisch nicht nur erhebliche Auswirkungen auf das bisherige "analoge" Auswahlermessen der Letztentscheider hat, sondern vor allem auch auf die künftigen Bewerbungschancen einzelnen Kandidatinnen und Kandidaten. Auch hierbei handelt es sich jeweils um veritable Grundrechtspositionen.

Auf der anderen Seite können Unternehmen aktuell weder die geltenden Vorgaben der DSGVO noch des AGG ignorieren:

Handlungsempfehlungen

1.

Soweit daher eine größere Anzahl an Daten für die zunächst automatisierte Verarbeitung erhoben wird, ist es daher unabdingbar, die dahinter stehen Abwägungen, insbesondere die Grundrechtspositionen anderer Bewerber in Form einer realen Chance auf Zugang zur Tätigkeit in den Blick zu nehmen und zu dokumentieren. Die KI-VO lässt dafür nicht nur Raum, sondern adressiert insoweit in Art. 10 und 14 sogar Handlungsaufträge.

2.

Unternehmen, die diesen einstweilen datenschutzrechtlich sicher risikobehafteten Weg nicht gehen wollen, sollten - auch mit Blick auf Art. 22 DSGVO - zumindest durch entsprechende Dokumentation sicherstellen, dass es sich bei dem "KI-Ergebnis" um ein Zwischenergebnis handelt.

Hier dürfte es für die Erhaltung der bisherigen Entscheidungsspielräume aber darüber hinaus mehr als nützlich sein, wenn die KI-generierte Vorauswahl lediglich eine Gruppe "einstellungsfähiger Bewerberinnen und Bewerber" auswirft, aber innerhalb dieser Gruppe dann kein weiteres "Ranking" vornimmt. Denn dies erspart die Notwendigkeit einer in der Regel anspruchsvollen Argumentation, warum man davon abgewichen ist.