Algorithmische Diskriminierung im Recruiting
von Benedikt Kramer, LL.M
Wer heute eine Bewerbung abschickt, landet oft zuerst nicht auf dem Schreibtisch einer Personalerin oder eines Personalers, sondern in einem automatisierten System. Software scannt Lebensläufe, bewertet Formulierungen und ordnet Bewerber:innen in Rankings ein. Das klingt nach Effizienz und Objektivität. Diese Objektivität ist jedoch trügerisch.
Was Algorithmen „lernen“
Algorithmen sind keine neutralen Werkzeuge. Sie werden mit Daten trainiert, und diese Daten spiegeln die Vergangenheit wider. Wenn ein System mit historischen Bewerbungsdaten trainiert wird, in denen überwiegend Männer eingestellt wurden, kann der Algorithmus lernen, dass Merkmale, die auf weibliche Bewerberinnen hindeuten, mit einer Ablehnung verbunden sind. Genau das passierte beim wohl bekanntesten dokumentierten Fall: Amazon entwickelte ab 2014 ein algorithmusgestütztes Recruiting-Tool und musste es später einstellen, weil der Algorithmus Frauen systematisch benachteiligte. Selbst Hinweise auf Mitgliedschaften in Frauenorganisationen konnten zu einer schlechteren Bewertung führen.
Solche Verzerrungen nennt man Bias. Der Bias steckt nicht notwendigerweise in einer böswilligen Absicht, sondern kann in den Daten selbst oder in den Entscheidungen liegen, die bei der Entwicklung des Systems getroffen wurden. Das macht algorithmische Diskriminierung besonders tückisch. Sie ist schwer zu erkennen und noch schwerer zu beweisen.
Unmittelbare und mittelbare Diskriminierung
Das österreichische Gleichbehandlungsgesetz unterscheidet zwischen unmittelbarer und mittelbarer Diskriminierung. Beide Formen können auch durch Algorithmen verwirklicht werden.
Eine unmittelbar diskriminierende Entscheidung liegt beispielsweise vor, wenn ein automatisiertes System eine Bewerberin aufgrund ihres Geschlechts schlechter bewertet. Eine mittelbare Diskriminierung erfasst hingegen scheinbar neutrale Kriterien, die faktisch zu Nachteilen führen. Dazu können etwa Teilzeitquoten gehören, wenn sie Personen benachteiligen, die aufgrund von Betreuungspflichten häufiger in Teilzeit arbeiten.
Der entscheidende Punkt: Es kommt nicht allein darauf an, ob ein Mensch diskriminieren wollte. Entscheidend ist auch, ob das Ergebnis oder das angewandte Verfahren diskriminierend wirkt.
Wo Algorithmen zum Einsatz kommen
Die Arbeitswelt ist voll davon. Algorithmen kommen im Recruiting-Prozess zum Einsatz, aber auch bei der Schaltung von Jobangeboten oder Wohnungsanzeigen. Innerhalb von Unternehmen werden sie für Leistungsbeurteilungen, Beförderungsentscheidungen, Schichtplanung und Gehaltsempfehlungen eingesetzt.
Es genügt dabei bereits, dass die KI den Entscheidungsprozess wesentlich vorbereitet oder unterstützt. Die formale Letztentscheidung durch einen Menschen schützt nicht automatisch vor rechtlicher Verantwortung.
Auch der EU AI Act berücksichtigt die besonderen Risiken von KI-Systemen im Beschäftigungsbereich. Systeme für Recruiting, Auswahl, Beförderung oder die Bewertung von Arbeitnehmer:innen gelten grundsätzlich als besonders risikoreiche Anwendungen.
Was algorithmische Diskriminierung von vielen Formen klassischer Diskriminierung unterscheidet, ist ihre Unsichtbarkeit. Wer von einer menschlichen Person abgelehnt wird, kann zumindest versuchen, nach den Gründen zu fragen. Wer von einem automatisierten System aussortiert wird, erfährt häufig nicht einmal, dass ein Algorithmus an der Entscheidung beteiligt war. Verzerrte Trainingsdaten, versteckte Stellvertretervariablen und schwer nachvollziehbare Entscheidungsmodelle können dazu führen, dass Algorithmen jahrzehntealte Vorurteile verstärken, statt sie abzubauen.
Eine Stellvertretervariable ist ein Merkmal, das scheinbar neutral wirkt, aber indirekt auf ein geschütztes Merkmal hinweisen kann. Dazu können beispielsweise bestimmte Postleitzahlen, Bildungseinrichtungen, Erwerbsbiografien oder Sprachmuster gehören. Ein System muss das Geschlecht, das Alter oder die ethnische Zugehörigkeit also nicht ausdrücklich abfragen, um bestimmte Personengruppen faktisch zu benachteiligen.
Die österreichische Gleichbehandlungsanwaltschaft weist darauf hin, dass Diskriminierung durch Algorithmen unter anderem bei digitalen Jobportalen, Online-Formularen und anderen automatisierten Interaktionen auftreten kann. Wenn Betroffene eine Diskriminierung vermuten, kann sie unter bestimmten Voraussetzungen Informationen zu den verwendeten Algorithmen und Entscheidungsprozessen einfordern und weitere Schritte prüfen.
Die Black Box
Was algorithmische Diskriminierung von klassischer Diskriminierung unterscheidet, ist ihre Unsichtbarkeit. Wer von einer menschlichen Person abgelehnt wird, kann zumindest versuchen, Gründe zu erfragen. Wer von einem Algorithmus aussortiert wird, bekommt oft nicht einmal mit, dass ein automatisiertes System beteiligt war.
Verzerrte Trainingsdaten, versteckte Stellvertretervariablen und die fehlende Nachvollziehbarkeit moderner KI-Modelle können dazu führen, dass Algorithmen jahrzehntealte Vorurteile verstärken, statt sie abzubauen.
Genau hier liegt die zentrale Herausforderung für das Diskriminierungsrecht: Ein Rechtssystem, das auf Nachweisbarkeit setzt, trifft auf Entscheidungsprozesse, die sich der Nachvollziehbarkeit entziehen. Wie das österreichische Recht und das Europarecht auf diese Herausforderung antworten, ist Thema des nächsten Beitrags dieser Artikelserie.