Jusletter IT

Die technische Entwicklung der letzten Jahre hat die Voraussetzungen für die Entwicklung und Anwendung von Systemen der sog. Künstlichen Intelligenz (KI-Systeme) geschaffen. Immer leistungsstärkere Computer, immer kostengünstigere Speichermöglichkeiten und die Verfügbarkeit enormer Datenmengen ermöglichen neue Analysen und automatisierte Entscheidungen durch KI-Systeme in einer Vielzahl von Bereichen.¹ Diese Systeme sind längst Teil unserer Gesellschaft. Sie übernehmen Aufgaben und fällen Entscheidungen, die früher nur von Menschen erledigt bzw. getroffen werden konnten.² Mit dieser Entwicklung sind vielfältige Herausforderungen verbunden. Eine besonders wichtige ist die Gefahr, dass Menschen durch KI-Systeme diskriminiert werden.

Dieser Beitrag richtet sich an Jurist:innen und andere Fachpersonen ohne Kenntnisse der Informatik. Er soll helfen, das Problem der Diskriminierung durch KI-Systeme besser zu verstehen. Zugleich bildet er die Grundlage für die Erarbeitung einer rechtlichen Lösung zur Erfassung von Diskriminierung durch KI-Systeme in der Schweiz.

Bereits bei der Definition von Diskriminierung können sich Schwierigkeiten ergeben, weil der Begriff in verschiedenen Bedeutungen gebraucht und in verschiedenen Disziplinen anders verstanden wird. Auch international bestehen grosse Unterschiede. In einem ersten Schritt sind deshalb die Begriffe zu klären.

Diskriminierung ist ein vielschichtiger Begriff, dem in verschiedenen wissenschaftlichen Disziplinen und Kontexten unterschiedliche Bedeutungen zukommen. Für den vorliegenden Beitrag ist entscheidend, wie der Begriff im Recht verstanden wird. Auch hier hat er verschiedene Bedeutungen.³ Im Vordergrund steht der menschenrechtliche Gehalt,⁴ der in der Bundesverfassung (Art. 8 Abs. 2 BV) zum Ausdruck kommt. Als Diskriminierung wird dort die Ungleichbehandlung von Personen in vergleichbaren Situationen verstanden, die an ein geschütztes Merkmal anknüpft und nicht qualifiziert gerechtfertigt ist.⁵

Nach der Rechtsprechung des Bundesgerichts liegt eine Diskriminierung vor, «wenn eine Person ungleich behandelt wird allein aufgrund ihrer Zugehörigkeit zu einer bestimmten Gruppe, welche historisch oder in der gegenwärtigen sozialen Wirklichkeit tendenziell ausgegrenzt oder als minderwertig angesehen wird. Die Diskriminierung stellt eine qualifizierte Ungleichbehandlung von Personen in vergleichbaren Situationen dar, indem sie eine Benachteiligung von Menschen bewirkt, die als Herabwürdigung oder Ausgrenzung einzustufen ist, weil sie an Unterscheidungsmerkmalen anknüpft, die einen wesentlichen und nicht oder nur schwer aufgebbaren Bestandteil der Identität der betroffenen Personen ausmachen».⁶

Die Definitionsmerkmale einer Diskriminierung sind damit (1) eine benachteiligende Ungleich- oder Gleichbehandlung in gleicher bzw. ungleicher Situation, die (2) an ein geschütztes Merkmal anknüpft und (3) das Fehlen einer qualifizierten Rechtfertigung.

Nicht jede Ungleichbehandlung ist eine Diskriminierung.⁷ Erfasst werden Benachteiligungen, Herabwürdigungen, Stigmatisierungen und Ausgrenzungen in enger Verknüpfung mit der Menschenwürde.⁸ Ungleichbehandlungen, die weder direkt noch indirekt auf geschützten Merkmalen basieren, werden nicht erfasst.⁹ Um eine Diskriminierung zu bejahen, reicht es, dass Betroffene im Ergebnis diskriminiert werden. Eine Absicht ist nicht erforderlich.¹⁰

Der im Recht verwendete Begriff der Diskriminierung hat stets einen negativen Gehalt.¹¹ Er ist abzugrenzen von der Diskriminierung im Sinn der wertneutralen «Differenzierung»¹² oder «Ungleichbehandlung», wie er z.B. in der Informatik verstanden wird.¹³

Geschützte Merkmale sind persönliche Eigenschaften, die nicht oder nur schwer abgelegt werden können und die in der Vergangenheit Grund für Stigmatisierung und Herabwürdigung waren, bspw. Herkunft, Rasse, Geschlecht, Alter, Sprache, soziale Stellung, Lebensform, religiöse, weltanschauliche oder politische Überzeugung oder eine körperliche, geistige oder psychische Behinderung.¹⁴ Die Bundesverfassung zählt einige geschützte Merkmale auf. Der Katalog ist aber nicht abschliessend und die Auffassung, welche Merkmale geschützt sein sollen, kann sich über die Zeit verändern.¹⁵

Eine Ungleichbehandlung in Anknüpfung an ein geschütztes Merkmal ist nicht per se unzulässig; sie kann gerechtfertigt sein, wenn sie sich sachlich begründen lässt und verhältnismässig ist.¹⁶ Eine Ungleichbehandlung, die sich auf ein geschütztes Merkmal stützt, bedarf aber einer qualifizierten Rechtfertigung. Die Ungleichbehandlung muss dafür ein wichtiges und legitimes öffentliches Interesse verfolgen und zur Erreichung dieses Interesses geeignet und erforderlich sein, d.h. es darf kein anderes, milderes Mittel vorliegen. Damit sie gerechtfertigt ist, muss die Ungleichbehandlung insgesamt verhältnismässig sein.¹⁷ Dabei gelten für die verschiedenen geschützten Merkmale unterschiedlich strenge Anforderungen. Bei sozial zugeschriebenen Eigenschaften oder Rollenbildern (bspw. aufgrund der Herkunft) ist ein strenger Prüfungsmassstab anzuwenden und sachliche Gründe für eine Ungleichbehandlung werden kaum zu finden sein, während biologische Eigenschaften wie das Alter eine Ungleichbehandlung eher rechtfertigen können.¹⁸

Diskriminierung kann in verschiedenen Formen auftreten. Eine direkte (auch: unmittelbare) Diskriminierung liegt vor, wenn direkt an ein geschütztes Merkmal angeknüpft wird. Von einer Diskriminierung durch Gleichbehandlung spricht man, wenn Fälle gleich behandelt werden, obwohl eine Differenzierung notwendig wäre. Als indirekte Diskriminierung werden Konstellationen bezeichnet, bei denen Personen, die ein geschütztes Merkmal aufweisen, durch die tatsächlichen Auswirkungen einer an sich neutralen Regelung besonders stark benachteiligt werden. Bei algorithmischen Systemen besteht sodann die Gefahr von sog. Proxy-Diskriminierungen, die auftreten, wenn Systeme an Stellvertretern von geschützten Merkmalen anknüpfen.

Eine direkte Diskriminierung liegt vor, wenn Menschen in vergleichbaren Situationen aufgrund eines geschützten Merkmals ungleich behandelt werden und diese Behandlung einen (oder mehrere) Menschen benachteiligt, ohne dass für die Ungleichbehandlung eine qualifizierte sachliche Rechtfertigung vorliegt.¹⁹ Eine direkte Diskriminierung ist bspw. gegeben, wenn ein KI-System bei einer Kreditvergabe einem französischsprechenden Menschen wegen seiner Sprache keinen Kredit gewährt.

Auch eine Gleichbehandlung kann eine Diskriminierung darstellen, wenn sie zu einer Benachteiligung von Trägern qualifizierter Merkmale führt und keine sachlichen Gründe für die Gleichbehandlung sprechen.²⁰ Die Diskriminierung durch Gleichbehandlung wird teilweise auch als Form der indirekten Diskriminierung bezeichnet.²¹ Eine Diskriminierung durch Gleichbehandlung liegt bspw. vor, wenn Personen mit einer Lese- und Schreibschwäche dieselbe Zeit für das Lösen einer Prüfung erhalten wie Personen ohne eine solche Beeinträchtigung.

Die Rechtsordnung kennt zudem die sog. indirekte (auch: mittelbare, «faktische»²²) Diskriminierung.²³ Eine solche liegt vor, wenn eine an sich neutrale Regelung, also eine Regelung, die nicht an ein geschütztes Merkmal anknüpft, in ihren tatsächlichen Auswirkungen Angehörige einer (spezifisch) gegen Diskriminierung geschützten Gruppe besonders stark benachteiligt, ohne dass dies (qualifiziert) sachlich begründet wäre.²⁴ Die indirekte Benachteiligung muss allerdings von erheblicher Bedeutung sein, weil das Verbot der indirekten Diskriminierung nach der Rechtsprechung des Bundesgerichts nur die offensichtlichsten negativen Auswirkungen korrigieren soll.²⁵

Relevant ist die indirekte Diskriminierung in der Praxis vor allem in Fällen, in denen aufgrund einer neutralen Regelung wesentlich mehr Angehörige eines Geschlechts gegenüber denjenigen des anderen benachteiligt werden, ohne dass dies sachlich begründet wäre.²⁶ Im Zusammenhang mit der Frage, ob Frauen benachteiligt seien, weil «Frauenberufe» schlechter entlöhnt würden, hat das Bundesgericht festgehalten, dass eine Funktion in der Regel als typisch weiblich gilt, wenn der Frauenanteil wesentlich höher als 70% liege.²⁷ Eine rechtlich relevante indirekte Diskriminierung dürfte deshalb nur in wenigen Fällen gegeben sein.

Im Zusammenhang mit algorithmischen Systemen wird oft der Begriff der Proxy-Diskriminierung verwendet. Dabei handelt es sich allerdings nicht um einen Rechtsbegriff. Bei der Proxy-Diskriminierung hängt eine Entscheidung von scheinbar neutralen Daten ab, im Ergebnis werden aber Personen mit geschützten Merkmalen diskriminiert,²⁸ weil ein Proxy (Stellvertreter) mit einem geschützten Merkmal mehr oder weniger stark korreliert.²⁹

Proxy-Diskriminierung tritt meist unabsichtlich auf, weil es viele Merkmale gibt, die mit geschützten Merkmalen korrelieren. So sind bspw. Grösse, Gewicht oder das Auftreten von bestimmten Krankheiten oft geschlechtsspezifisch (bspw. Brust- oder Prostatakrebs). Machine Learning-Algorithmen sind anfällig, Entscheidungen zu generieren, die stark mit einem geschützten Merkmal korrelieren, auch wenn dieses selbst gar nicht verwendet wird. Dies ist allerdings in vielen Fällen nicht offensichtlich, auch nicht für die Entwickler:innnen der Systeme.³⁰ Wird bei einer Entscheidung absichtlich auf einen Proxy (oder mehrere Proxies) abgestellt, spricht man von «masking». Dabei wird ein unverdächtiger Stellvertreter benutzt, um eine bewusste Diskriminierung zu verschleiern.³¹ Historisch kommt diese Form der Proxy-Diskriminierung vom sog. «redlining», bei dem in den USA bestimmte geografische Regionen von den Dienstleistungen eines Unternehmens ausgeschlossen wurden, weil dort überwiegend Afroamerikaner lebten. Da eine Unterscheidung aufgrund der «Rasse» nicht erlaubt war, wurde an die Region als Stellvertretermerkmal angeknüpft.³²

Das Problem der Proxy-Diskriminierung zeigt, dass sich Diskriminierung in der Regel nicht verhindern lässt, indem die geschützten Merkmale aus den Datensätzen entfernt werden.³³ Denn in den sehr grossen Datensätzen (Big Data), die für das Trainieren dieser Systeme verwendet werden, sind meist genügend andere Merkmale enthalten, die mit einem geschützten Merkmal korrelieren und die in der Summe eine (ungewollte) Rekonstruktion geschützter Merkmale erlauben. Die Erfahrung hat sogar gezeigt, dass geschützte Merkmale in algorithmischen Systemen explizit mitberücksichtigt werden müssen, um Diskriminierung überhaupt erkennen und nicht-diskriminierende Modelle entwickeln zu können.³⁴

«Bias» und «Fairness» werden in der Informatik verwendet, um ethische Probleme im Zusammenhang mit der Funktionsweise und den Ergebnissen von Algorithmen zu beschreiben.

Der Begriff «Bias» (Verzerrung) ist nicht mit dem Begriff «Diskriminierung» gleichzusetzen. Bias kann eine wertende Bedeutung wie Voreingenommenheit oder Vorurteil haben, aber auch wertneutral als Verzerrung oder Abweichung von einem Standard verstanden werden.³⁵ Der Begriff «Algorithmic Bias» ist nicht eindeutig definiert. Häufig nimmt er Bezug zu geschützten Gruppen und wird als systematische Benachteiligung gewisser Gruppen durch einen Algorithmus verstanden.³⁶

Im Zusammenhang mit Diskriminierung durch algorithmische Systeme ist oft von «(Algorithmic) Fairness» die Rede. Dieser Begriff wird vor allem in der Informatik verwendet; es handelt sich nicht um einen rechtlichen Begriff. Aus Sicht des Rechts ist problematisch, dass es keine allgemein anerkannte und hinreichend präzise Definition von «Fairness» gibt. Viele Autor:innen³⁷ lehnen sich jedoch an das Problem der Diskriminierung an und verstehen fair als «diskriminierungsfrei», wobei der Begriff «Diskriminierung» durch Algorithmen nicht der rechtlichen Diskriminierung entspricht und sich nicht unbedingt auf Ungleichbehandlungen aufgrund von geschützten Merkmalen beschränkt.³⁸

Der Begriff der Fairness wird unterschiedlich formalisiert. Unterscheiden lassen sich insb. Gruppenfairness («group fairness») und individuelle Fairness («individual fairness»).³⁹ Gruppenfairness stellt auf statistische Parität ab, d.h. die Ergebnisse des Algorithmus sollen «im Durchschnitt» für die verschiedenen Gruppen gleich sein.⁴⁰ Ein prominentes Beispiel für Gruppenfairness ist die sog. «demographic parity»: Dabei prüft man, ob die Wahrscheinlichkeit für eine bestimmte Entscheidung des Algorithmus für verschiedene Bevölkerungsgruppen gleich ist. So kann man bspw. die Akzeptanzquote von Bewerbenden für verschiedene Geschlechter prüfen – ist diese unterschiedlich, wäre das ein Verstoss gegen die Vorgabe der «demographic parity». Die individuelle Fairness, die sich am rechtlichen Diskriminierungsbegriff orientiert, bedeutet, dass Personen mit ähnlichen Eigenschaften (mit Ausnahme der geschützten Merkmale) von algorithmischen Systemen dieselben Ergebnisse erhalten.⁴¹ Konkret auf die Diskriminierung bezogen ist die sog. kausale Fairness («Causal Fairness»).⁴²

Was als «fair» gilt, ist oft kontext- und kulturabhängig.⁴³ In der Informatik wurde eine Reihe von Fairnessmetriken entwickelt, die auf verschiedenen normativen Annahmen darüber beruhen, was Fairness bedeutet.⁴⁴ Die Fairnessmetriken schliessen sich jedoch teilweise gegenseitig aus. Es kann mathematisch gezeigt werden, dass sich verschiedene Metriken für Gruppenfairness widersprechen.⁴⁵ Zudem kann eine Entscheidung, die auf Gruppenebene fair ist, für ein Individuum dennoch diskriminierend sein. Welche Fairnessmetriken in welchem Kontext eingesetzt werden können und sollen, ist deshalb offen.⁴⁶ Für den vorliegenden Zusammenhang ist wichtig, dass «Fairness» nicht mit Nicht-Diskriminierung im Rechtssinn gleichgesetzt werden kann. Namentlich ist nicht alles, was aus ethischer Sicht «unfair» erscheinen mag, als Diskriminierung im rechtlichen Sinn zu qualifizieren, denn die Konzepte der «Fairness» gehen in aller Regel weiter als die Vermeidung von Diskriminierung.⁴⁷

Die Definition des Begriffs «Künstliche Intelligenz» (KI) oder Artificial Intelligence (AI) war lange umstritten.⁴⁸ Auch in den Entwürfen für eine Verordnung des europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz («KI VO») fanden sich verschiedene Definitionen. Die finale Fassung⁴⁹ definiert ein KI-System nun in Art. 3 (1) KI VO als «ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.». Diese Definition lehnt sich eng an die von der OECD verwendete Definition an.⁵⁰ Sie scheint sich nun nach längeren Diskussionen allgemein durchzusetzen.

Ein Merkmal von «Künstlicher Intelligenz» ist eine mehr oder weniger ausgeprägte maschinelle Autonomie. Maschinelle Autonomie bedeutet einerseits, dass der Algorithmus zumindest bis zu einem gewissen Grad unabhängig von menschlicher Kontrolle und Einflussnahme agieren kann.⁵¹ Andererseits werden dem Algorithmus – anders als bei der herkömmlichen Programmierung und Automatisierung – keine Regeln vorgegeben; vielmehr leitet der Algorithmus die Regeln in einem Lernprozess selbst ab. Eine besonders häufige Form ist das Lernen anhand von Trainingsdaten: Dabei lernt ein KI-System, optimale Ergebnisse zu erzielen (bspw. die optimale Entscheidung zu treffen), indem es mit Daten aus der Vergangenheit trainiert wird. So kann man bspw. ein medizinisches Diagnosesystem mit Input-Daten von Patient:innen (bspw. Alter, Geschlecht, Vorerkrankungen, physiologische Marker) trainieren, bei denen das Vorhandensein einer bestimmten Krankheit (Output) erfasst wurde. Das System lernt dann, aus den Input-Daten den Output bestmöglich abzuleiten, d.h. eine Aussage darüber zu treffen, ob die Person diese Krankheit mit einer bestimmten Wahrscheinlichkeit hat.

Die Art und Weise, wie die Input-Daten zu einem Resultat («hat die Krankheit» vs. «hat die Krankheit nicht») führen, ist aber nicht durch einen Programmierer vorgegeben, sondern wird durch einen Lernalgorithmus anhand der Trainingsdaten – innerhalb gewisser Grenzen der zugrundeliegenden algorithmischen Struktur (bspw. eines neuronales Netzes einer bestimmten Topologie) – optimiert. Ein so trainiertes System wird dann verwendet, um für neue Fälle eine Vorhersage zu treffen.

Für Menschen ist oft nicht zu erkennen, basierend auf welcher Regel ein bestimmtes Resultat generiert wurde. Ein trainiertes KI-System hat zwar intern einen Regelsatz kodiert. Dieser ist aber häufig durch tausende interne Parameter bestimmt, die sich meist weder direkt interpretieren noch durch einfache Entscheidungsregeln (wenn-dann) repräsentieren lassen. Entsprechend lässt sich oft nicht nachvollziehen, wie ein Resultat entstand. Die Frage nach den «Entscheidgründen» eines selbstlernenden Systems ist deshalb im Grunde unsinnig – denn die Antwort darauf ist immer: «Weil es mit den Trainingsdaten gut funktioniert hat.» Im Ergebnis sind die Entscheidungen deshalb für Aussenstehende in der Regel intransparent.⁵² Erschwerend kommt hinzu, dass gewisse selbstlernende Systeme dynamisch sind und sich aufgrund neu hinzukommender Daten stets weiterentwickeln.

Der Begriff «Algorithmus» wird vor allem in der Informatik verwendet. Als Algorithmus wird dort ein Verfahren bezeichnet, das dazu dient, eine spezifische Aufgabe zu lösen.⁵³ Ein Algorithmus besteht aus einer Folge von Anweisungen oder Handlungen. Algorithmen werden in der Regel als Programmcode in einer bestimmten Programmiersprache in einem Computersystem implementiert – der Algorithmus bezeichnet aber nicht den Programmcode, sondern die Folge von logischen Schritten, mit denen eine Aufgabe gelöst werden soll.

Algorithmen sind formale Konstrukte, die es ermöglichen, aufgrund eines Inputs über einen vordefinierten Prozess zu einem Output (Resultat) zu gelangen.⁵⁴ Jeder Algorithmus hat einen bestimmten «Zweck» («purpose»), verstanden als die zu lösende Aufgabe, und er beruht auf «Bedingungen» («provisions»), die erfüllt sein müssen, damit er die Aufgabe lösen kann. Die Aufgabe wird dabei durch die Erzeugung eines konkreten Outputs gelöst.⁵⁵

Als Beispiel mag eine Website dienen, die eine Liste von ausgewählten Hotels in Paris anzeigt, die direkt auf dieser Website gebucht werden können. Ein Algorithmus kann hier den Zweck haben, für jede Besucher:in der Website im Voraus die personalisierte Wahrscheinlichkeit zu bestimmen, ein ganz bestimmtes Hotel aus der angezeigten Liste zu buchen («purpose»). Der Output des Algorithmus besteht in der Angabe dieser Wahrscheinlichkeit. Wenn der Algorithmus für die Berechnung dieser Wahrscheinlichkeit Alter und Geschlecht der Besucherin verwendet, ist die Verfügbarkeit der Werte für Alter und Geschlecht eine Bedingung («provision»), damit der Algorithmus die Aufgabe lösen kann, eine personalisierte Wahrscheinlichkeit zu bestimmen.

Wenn im öffentlichen Diskurs von Algorithmen die Rede ist, geht es normalerweise nicht um Algorithmen im Sinn von Verfahren, sondern um die konkrete Implementierung eines Verfahrens in einem bestimmten Programm, einer Software oder einem Informationssystem.⁵⁶ Eine solche Implementierung nennen wir algorithmisches System.⁵⁷

Algorithmische Systeme können die menschliche Analyse und Entscheidungsfindung inklusive daraus folgende Handlungen ergänzen oder ersetzen. Ein selbstfahrendes Auto oder ein Roboter sind höchst komplexe algorithmische Systeme, die zur Problemlösung (bspw. einen Passagier von A nach B zu bringen) ständig Daten verarbeiten und Aktionen ausführen. Für die von einer Diskriminierung Betroffenen spielt es in der Regel keine Rolle, ob das System nur Empfehlungen abgegeben hat, die von einem Menschen übernommen wurden, oder ob es sich um ein vollautomatisches System handelt, das ohne menschliche Einwirkung entscheidet.⁵⁸ Auch Computersysteme mit einfachsten Algorithmen, die nur Schritt-für-Schritt-Anleitungen ausführen, sollten deshalb von der Definition erfasst sein.⁵⁹

Bei Algorithmen sind zwei Arten zu unterscheiden: Deterministische Algorithmen sind statisch und folgen einem eindeutig vorgegebenen Lösungsweg, der auch bei der Verarbeitung einer potenziell unbegrenzten Anzahl von Werten immer gleich bleibt.⁶⁰ Der gesamte Prozess ist eindeutig bestimmt und der gleiche Input liefert immer den gleichen Output.⁶¹ Die Wirkungsweise ist damit jederzeit reproduzierbar.

Nicht-deterministische Algorithmen enthalten dagegen Elemente, die nicht von vornherein bestimmt sind, bspw. Zufallskomponenten oder Trainingsdaten, die mit darüber entscheiden, wie das algorithmische System später entscheidet. Zu den nicht-deterministischen Algorithmen gehören insb. «lernende» Algorithmen, die dynamisch sind und sich weiterentwickeln können.⁶² Diese Algorithmen beschränken sich nicht auf die Befehle im Programmcode, sondern entwickeln sich durch den Einfluss von nicht von vornherein bestimmten Elementen weiter.⁶³ Da ein KI-System nach der Definition in der KI VO⁶⁴ Anpassungsfähigkeit (engl. «adaptiveness») aufweist und mit einer gewissen Autonomie («varying levels of autonomy») Schlüsse aus Input zieht («infers, from input it receives») , das nicht vollständig vorhergesagt werden kann, beinhalten KI-Systeme jeweils nicht-deterministische Algorithmen.

Regelbasierte («rule-» oder «knowledge-based») Algorithmen folgen den ihnen vorgegebenen Regeln. Es handelt sich dabei um Wenn-Dann-Prozesse, die durch Entscheidungsbäume («decision trees») abgebildet werden können. Regelbasierte algorithmische Systeme können menschliche Entscheidungsfindungen abbilden.⁶⁵ Diese Systeme sind zwar nicht darauf ausgerichtet, selbst zu «lernen»; sie sind aber nicht mit deterministischen Algorithmen gleichzusetzen, weil sie auch nicht-deterministische Elemente enthalten können, etwa wenn Expertensysteme Wahrscheinlichkeiten verwenden.

Regelbasierte Algorithmen basieren auf vorhandenem explizitem Wissen (daraus leitet sich auch der Name «Expertensystem» ab) und implementieren dieses in Form eines Computercodes. Sie sind so gut wie das zugrundliegende Wissen.

Im Gegensatz zu regelbasierten Systemen lernen datenbasierte Algorithmen aus Beispielen und funktionieren über das Erkennen von statistischen Zusammenhängen und Mustern in Daten. Das «Lernen aus Daten» reicht von relativ einfachen statistischen Modellen (z.B. Regressionsmodellen), die Zusammenhänge zwischen Variablen approximativ abbilden, bis zu komplexen neuronalen Netzen. In allen Fällen werden Zusammenhänge zwischen Variablen, die für eine Entscheidung nützlich sind, aus Daten abgeleitet. Der entscheidende Unterschied zu den Expertensystemen ist der Lernprozess. Datenbasierte Algorithmen können im Ergebnis nicht besser sein als die Qualität und Repräsentativität der zugrundeliegenden Trainingsdaten.

Neuronale Netze sind computerinterne Darstellungen von Verknüpfungen zwischen Input-Variablen (z.B. verfügbare Daten) und Output-Variablen (z.B. eine Entscheidung). Sie sind dem Funktionsmechanismus des menschlichen Gehirns nachempfunden und versuchen, das Zusammenwirken von Neuronen im Gehirn zu replizieren.⁶⁶ Das «Lernen» eines neuronalen Netzes besteht in der Optimierung der Verknüpfungsstärke zwischen den Neuronen, die in verschiedenen Schichten («Layers») organisiert sind. Diese Gewichtungen werden beim «Lernen» laufend angepasst, wodurch das neuronale Netz bessere Lösungen finden kann.⁶⁷ Damit können verschiedenste Zusammenhänge zwischen Input und Output abgebildet werden – und dies besser als mit klassischen statistischen Modellen. Deep Learning bezeichnet ein Verfahren des maschinellen Lernens, bei dem neuronale Netze mit vielen Layers verwendet werden. Damit kann die Leistungsfähigkeit von neuronalen Netzen noch weiter gesteigert werden.⁶⁸

Die Begriffe «Künstliche Intelligenz» und «Machine Learning» (Maschinelles Lernen) werden bisweilen synonym verwendet.⁶⁹ Machine Learning bezeichnet aber eigentlich die technische Methode, um ein KI-System mittels Daten zu trainieren, also um das «Lernen» eines KI-Systems zu ermöglichen.⁷⁰ Machine Learning ist derzeit der wichtigste Ansatz im Bereich der KI⁷¹ und wird bspw. bei Gesichtserkennungssystemen, bei Sprachassistenten wie Siri und Google Assistant oder bei Übersetzungs- und Korrekturprogrammen sowie bei sog. LLMs («large language models») wie bspw. ChatGPT eingesetzt.⁷²

Machine Learning basiert auf der Verarbeitung sehr grosser Mengen von Daten, namentlich Trainings-, Validierungs- und Testdaten. Die Trainings- und Validierungsdaten dienen dem Training des Algorithmus, die Testdaten der Evaluation und Überprüfung des trainierten Algorithmus. Die durch das Training erlernten Entscheidungsregeln von Machine Learning-Algorithmen sind für Menschen meist weder verständlich noch nachvollziehbar und damit intransparent, weshalb auf maschinellem Lernen beruhende algorithmische Systeme bisweilen als «Black Boxes» bezeichnet werden.⁷³ Das gilt selbst für relativ einfache Algorithmen, deren Wirkungsweise für Nicht-Experten oft nur schwer zu verstehen ist.

Bei der Entwicklung von KI-Systemen, die auf Machine Learning beruhen, lassen sich drei Phasen unterscheiden: die Definition einer Modellstruktur und eines Trainingsverfahrens, das Trainieren und Validieren sowie das Testen.

Der erste Schritt ist die Definition einer Modellstruktur für die Verknüpfung des Inputs mit dem Output und die Implementierung eines Trainingsverfahrens. Input und Output sind dabei durch eine komplexe, nicht-lineare mathematische Funktion verknüpft, welche die Struktur des Modells bildet. Die Parameter dieser Funktion (bei neuronalen Netzen können es hunderte, tausende, oder mehr Parameter sein) werden durch das Training des Modells angepasst. Bei einem Deep Learning-Algorithmus besteht die Modellstruktur aus mehreren Schichten (Layers), die aufgrund einer gewissen Architektur miteinander verknüpft sind.

Das Trainingsverfahren bestimmt, wie die Modellparameter aufgrund der Trainingsdaten angepasst werden, sodass der Algorithmus eine optimale Performance erreicht. lm Rahmen der Programmierung des Trainingsverfahrens werden auch weitere Parameter (sog. Hyperparameter) festgelegt, bspw. Abbruchkriterien für den Trainingsprozess.

Beim Training lernt das System aus den Trainingsdaten, eine bestimmte (bei sog. General Purpose AI-Modellen auch viele unbestimmte) Aufgabe(n) zu erfüllen. Ziel des Trainings ist es, die Beziehung zwischen Input (verfügbare Daten während des späteren Einsatzes) und Output (z.B. gute Vorhersage, korrekte Empfehlung, richtige Entscheidung) möglichst optimal abzubilden.

Das Resultat dieses Lernprozesses wird «Modell» genannt. Denn das Modell repräsentiert eine (approximative) Abbildung der Realität, wie sie sich in den Trainingsdaten in der Beziehung zwischen Input und Output zeigt. Grundlegend für alle Verfahren des maschinellen Lernens ist, dass die Systeme mit genügend Trainingsdaten «gefüttert» werden, sodass sie Korrelationen erkennen und berücksichtigen können.⁷⁴ Der «Lernprozess» ist beim maschinellen Lernen darauf beschränkt, Korrelationen zu entdecken und die Beziehung zwischen Input und Output möglichst gut abzubilden. Damit ist aber keine Aussage über eine Kausalität verbunden. Für menschliche Anwender besteht die Gefahr, dass auftretende Korrelationen mit Kausalitäten verwechselt werden.⁷⁵

Als einfaches Beispiel kann ein System dienen, das aufgrund der Informationen in E-Mails Spam-E-Mails erkennen soll. Input ist hier die E-Mail selbst (inklusive der Meta-Information, bspw. im Header), Output ist eine Variable Y, die im einfachsten Fall zwei Werte annehmen kann (binäre Prediction): Y=0 bedeutet: E-Mail ist kein Spam. Y=1 bedeutet: E-Mail ist Spam. Häufig setzt man auch probabilistische Modelle ein, bei denen der Output einen Score zwischen 0 und 1 liefert, wobei bspw. s=0.3 bedeutet, dass die E-Mail mit einer Wahrscheinlichkeit von 30% Spam ist.

Das Modell, das nach dem Training vorliegt, gibt für jeden beliebigen Input einen Output aus. Ziel des Trainings ist die Entwicklung eines Modells, das möglichst in jedem Fall eine korrekte Aussage Y produziert. Das gelingt in der Regel nicht vollständig: Jedes trainierte Modell produziert gelegentlich auch falsche Aussagen. Je häufiger das Modell die richtige Aussage macht, desto besser ist es.

Modelle können mit unterschiedlichen Trainingsformen trainiert werden, namentlich durch supervised learning (überwachtes Lernen), semi-supervised learning (teilweise überwachtes Lernen), unsupervised learning (nicht überwachtes Lernen) und reinforcement learning (bestärkendes oder verstärkendes Lernen)⁷⁶. Bei allen diesen datenbasierten Lernmethoden besteht das Problem, dass sie auf bestehenden Daten beruhen und die trainierten Modelle deshalb schnell veralten können, bspw. wenn sich die Umstände ändern.⁷⁷

Beim supervised learning lernt das Modell mit Daten, bei denen das Resultat (Output) bekannt ist: Für jeden Trainings-Datensatz sind sowohl die Input-Daten als auch der Output (oft «Label» genannt) gegeben. Die Labels wären zum Beispiel «Spam» und «kein Spam». Die Labels definieren die sog. «Ground Truth»; damit wird der Wert bezeichnet, den das Modell idealerweise reproduzieren soll. Dabei handelt es sich nicht zwingend um die objektive «Wahrheit»; vielmehr liegen den Labels oft menschliche Wertungen zugrunde.⁷⁸ Durch die gelabelten Trainingsdaten soll der Algorithmus Beziehungen, insb. Korrelationen und Muster, in den Daten erkennen und dadurch in die Lage versetzt werden, neue und ungelabelte Daten zu verarbeiten, d.h. für diese den richtigen Output zu berechnen. Im genannten Beispiel würde der Algorithmus zu erkennen versuchen, welche Attribute tendenziell eher in Spam-E-Mails vorkommen (z.B. unbekannter Absender oder der Begriff «Gewinn»). Diese Attribute werden durch das Modell in optimaler Weise so miteinander verrechnet, dass die Treffsicherheit maximiert wird.

Beim unsupervised learning entwickelt der Algorithmus gestützt auf nicht gelabelte Daten selbständig ein Modell, unter Ausnutzung von Strukturen in den Daten und Ähnlichkeiten zwischen Datensätzen. Wegen des Fehlens einer «ground truth» ist die Nachvollziehbarkeit der Resultate geringer als beim supervised learning.⁷⁹ Unsupervised Learning eignet sich insb., um aus grossen Datenmengen bislang unbekannte Erkenntnisse zu gewinnen. Da dieses Lernverfahren keine gelabelten Daten voraussetzt, eignet es sich sehr gut zum kontinuierlichen Einsatz, weil jeder neue Datensatz als Lerndatensatz verwendet werden kann. Dieser Ansatz ist damit flexibler und dynamischer.⁸⁰

Beim semi-supervised learning werden sowohl gelabelte als auch ungelabelte Daten ins System eingegeben, was Kosten und Zeit spart. Zudem kann das Zugeben von ungelabelten Daten zur Optimierung des Modells beitragen.⁸¹

Reinforcement learning bezeichnet ein Lernverfahren, bei dem ein algorithmisches System mittels Feedback zu immer besseren Lösungen gelangt. Der Algorithmus erhält ein Ziel und lernt durch trial-and-error.⁸² Innerhalb einer definierten Umgebung – bspw. in einem Unternehmen – trifft das System laufend Entscheidungen – bspw. die Auswahl geeigneter Investitionsobjekte oder die Einstellung von Bewerbern. Trifft das System erfolgreiche Entscheidungen, erhält es positives Feedback, bspw. von menschlichen Begutachtern, bei nicht erfolgreichen negatives. Aufgrund dieser Information adaptiert das System sein Verhalten, um so die Qualität der Entscheidung schrittweise zu verbessern. Welche Daten als Trainingsdaten genutzt werden und wie das auf die Entscheidungen folgende Feedback erfolgt, spielt eine bedeutende Rolle.⁸³

Teil des Trainings ist das Validieren zur Prüfung der Qualität des Modells. Für das Validieren können separate Datensätze verwendet werden, die Validierungsdaten können aber auch Teil der Trainingsdaten sein. Mit dem Validieren wird die Leistung des Modells während des Trainings überprüft, um eine Überanpassung (overfitting) zu verhindern⁸⁴. Eine Überanpassung liegt vor, wenn das Modell zwar für die Trainingsdaten gute Ergebnisse liefert, aber nicht für neue Daten, wenn das Modell also nicht generalisieren kann.

Nachdem das Modell trainiert wurde, wird es mit Testdaten überprüft. Als Testdaten werden Daten verwendet, die dieselbe Struktur wie die Trainingsdaten aufweisen, aber nicht für das Trainieren oder Validieren benutzt wurden. Typischerweise werden dabei Input-Daten verwendet, bei denen der richtige Output bekannt ist. Bei Eingabe der Input-Daten generiert das Modell aufgrund der im Training etablierten Beziehung zwischen Input und Output, für jeden Input einen Output. Durch den Vergleich dieses Outputs mit dem richtigen Output kann die Performance das trainierten Modells geprüft werden.

Wenn die Ergebnisse der Tests zufriedenstellend sind, kann der Algorithmus eingesetzt werden. In vielen Fällen entwickelt sich der Algorithmus danach nicht mehr weiter, er lernt also nicht aus neuen Input-Daten. In diesen Fällen wird ein einmal trainiertes Modell so, wie es ist, in der Praxis eingesetzt, und nur gelegentlich einem Update unterzogen. In anderen Fällen werden Machine-Learning-Algorithmen so betrieben, dass sie während des Einsatzes dazulernen und sich kontinuierlich weiterentwickeln.⁸⁵

Das fertig entwickelte Modell wird in der Regel verwendet, um Entscheidungen zu fällen oder Prognosen zu erstellen. In dieser Phase geht es nicht mehr um die Entwicklung, sondern um die Anwendung des Systems. Die Phasen der Entwicklung und Anwendung können sich allerdings überlappen, wenn ein KI-System laufend oder regelmässig neu trainiert wird, bspw. unter Verwendung weiterer (allenfalls bei der Anwendung des Systems entstandener) Daten.

Beim fertig entwickelten Modell ist zwischen Modellqualität und Diskriminierungsfreiheit als unterschiedliche Eigenschaften zu unterscheiden.⁸⁶ Es ist durchaus möglich, dass ein weitgehend perfektes Modell zu Diskriminierung führt, bspw. weil es mit Daten trainiert wurde, die eine diskriminierende Situation spiegeln. Umgekehrt kann ein Modell von geringer Qualität diskriminierungsfrei sein.

KI-Systeme sind zwar anfällig für diskriminierende Entscheide, sie können aber auch dazu beitragen, Diskriminierung zu verringern oder zu verhindern.⁸⁷ Zum einen können sie helfen, von Menschen verursachte Diskriminierung zu entdecken,⁸⁸ vor allem aber ist es ungleich einfacher, «Biases» in algorithmischen Systemen zu bereinigen, als die Voreingenommenheit und diskriminierenden Neigungen von Menschen zu überwinden.⁸⁹

Algorithmische Systeme lernen durch das Erkennen von Mustern; sie sind darauf trainiert, in Daten Korrelationen zu erkennen.⁹⁰ Als Korrelation wird die Beziehung zwischen zwei oder mehreren Variablen bezeichnet.⁹¹ Es handelt sich dabei um ein statistisches Mass, das ausdrückt, wie stark die Beziehung zwischen diesen Variablen ist. Datengetriebene Algorithmen sind in der Lage, Korrelationen in grösserem Mass zu erkennen, als dies bislang möglich war.⁹² Auf maschinellem Lernen beruhende Algorithmen können aber keine Kausalitäten erkennen.⁹³

Das juristische Denken ist hingegen von der Suche nach Kausalitäten geprägt, verstanden als direkter Zusammenhang von Ursache und Wirkung. Wer von einer Person Schadenersatz verlangt, muss nachweisen können, dass das Verhalten der schädigenden Person für den entstandenen Schaden kausal war.

Algorithmische Systeme und juristisches Denken unterscheiden sich damit grundlegend. Aus diesen konzeptionellen Unterschieden können sich (Verständnis-)Probleme ergeben, so etwa, wenn Nutzer:innen von algorithmischen Systemen Korrelationen mit Kausalitäten gleichsetzen.⁹⁴ Denn das Bestehen einer Korrelation zwischen zwei Variablen sagt nichts über den Grund dieser Korrelation und nichts über das Vorliegen einer kausalen Beziehung aus. Auch eine hohe Korrelation zwischen zwei Variablen bedeutet nicht, dass zwischen diesen Variablen eine Kausalität besteht und sie sagt nichts über die Richtung der Kausalität aus.⁹⁵ Dass zwei Variablen korrelieren, ist oft die Folge einer dritten Variable, die kausal beide Variablen beeinflusst. So besteht bspw. eine Korrelation zwischen dem Verkauf von Fondue und Skiunfällen, der vermehrte Verkauf von Fondue ist aber weder kausal für die grössere Zahl von Skiunfällen noch sind die Skiunfälle kausal für den Verkauf von Fondue. Kausal ist vielmehr eine dritte Variable, nämlich die Jahreszeit (Winter). Eine Korrelation kann zwar ein Indiz für eine mögliche Kausalität sein, sie ist aber kein Nachweis.

Die Bedeutung der Unterscheidung wird bei der rechtlichen Beurteilung von Diskriminierungen durch algorithmische Systeme deutlich: Eine direkte Diskriminierung durch ein solches System liegt vor, wenn ein geschütztes Merkmal kausal für eine benachteiligende Ungleichbehandlung ist, wenn das algorithmische System bei einer Entscheidung also auf das geschützte Merkmal abstellt. Oft ist aber schwierig zu erkennen, auf welchen Merkmalen die Entscheidung eines algorithmischen Systems beruht. Trifft das System für eine geschützte Gruppe nachteilige Entscheidungen, liegt immerhin ein Indiz für eine Diskriminierung vor, das Anlass zu einer vertieften Prüfung des Sachverhaltes geben sollte. Ergibt die Prüfung, dass das geschützte Merkmal tatsächlich für die Entscheidung kausal ist, liegt eine direkte Diskriminierung vor. Andernfalls ist zu prüfen, ob eine andere Variable (oder mehrere andere Variablen) kausal für die Benachteiligung ist. Korreliert diese Variable (oder die mehreren Variablen) mit einem geschützten Merkmal, kann eine Proxy-Diskriminierung vorliegen, wenn eine hohe Übereinstimmung mit einem geschützten Merkmal vorliegt.⁹⁶ Das kann bspw. der Fall sein, wenn ein algorithmisches System zur Berechnung von Kreditscores auf Postleitzahlen abstellt und in Wohnkreisen mit Postleitzahlen, die zu einem tieferen Kreditscore führen, der Anteil an Menschen ausländischer Herkunft deutlich höher ist als in den anderen Wohnkreisen.

Die Ungleichbehandlung durch ein algorithmisches System lässt sich rechtfertigen, wenn ein sachlicher Grund für die Ungleichbehandlung vorliegt. Das wäre bspw. der Fall, wenn ein algorithmisches System für ältere Personen höhere Krankenkassenprämien berechnet, weil die höheren Prämien aufgrund der höheren Gesundheitskosten bei älteren Menschen gerechtfertigt sind. Die Ungleichbehandlung muss aber verhältnismässig sein, was hier davon abhängen wird, wie viel höher die Prämien für die älteren Personen sind.

Algorithmische Systeme implementieren Entscheidungsverfahren, die beliebig oft angewandt werden können. Wenn ein System einmal entwickelt ist, sind die Kosten für jede Entscheidung minimal. Algorithmische Systeme werden deshalb oft für Anwendungsfälle entwickelt, bei denen eine sehr grosse Zahl von Entscheidungen zu treffen ist.⁹⁷ Ein diskriminierendes Entscheidungsverhalten eines algorithmischen Systems skaliert deshalb viel mehr und hat damit häufig viel weitreichendere Auswirkungen als das diskriminierende Verhalten eines (einzelnen) menschlichen Entscheiders.⁹⁸

Die Skalierung kann allerdings auch positive Effekte haben, indem sie Diskriminierung sichtbar und damit korrigierbar macht.⁹⁹ Wenn einzelne Personen – bspw. bei der Steuerveranlagung – regelmässig diskriminierende Entscheide treffen, wird dies kaum auffallen. Ein algorithmisches System kann dagegen prinzipiell mit unendlich vielen Testfällen überprüft werden. Diskriminierendes Verhalten lässt sich so deutlich besser entdecken und statistisch nachweisen. Diese Erkenntnisse können die Grundlage für Verbesserungen bilden, die es erlauben, nicht-diskriminierende Systeme zu entwickeln. Anders als bei Menschen kann diskriminierendes Verhalten bei algorithmischen Systemen nicht nur gemessen, sondern auch nicht-diskriminierendes Verhalten weitgehend garantiert werden; Voraussetzung ist allerdings, dass die für das Testen verwendeten Datensätze für den späteren Einsatz repräsentativ sind. Auch bei diesem Einsatz lässt sich Diskriminierung an den Ergebnissen in der Regel besser erkennen als bei Menschen, weil das System eine grössere Anzahl von Entscheidungen trifft als ein menschlicher Entscheider.

Bestehende Voreingenommenheiten und Diskriminierungen können in algorithmischen Systemen fortgesetzt werden und sich noch verstärken.¹⁰⁰ Dabei gibt es verschiedene Ausprägungen von Rückkoppelungseffekten («feedback loops»).

Bei Machine-Learning-Algorithmen ergibt sich ein feedback loop, wenn die Vorhersagen eines Modells als Trainingsdaten für ebendieses oder für ein anderes Modell verwendet werden. Ein Empfehlungsalgorithmus, der bei einem Streamingdienst Filme vorschlägt, beeinflusst, welche Filme die Nutzenden ansehen werden. Die häufiger angeschauten Filme werden dann wiederum anderen Nutzenden vorgeschlagen.¹⁰¹ Eine solche Verstärkung kann auch zu ungewollten, diskriminierenden Resultaten führen.¹⁰² Wenn ein algorithmisches System männliche Bewerber für eine bestimmte Arbeitsstelle als geeigneter qualifiziert und sie deshalb eher vorschlägt, führt dies dazu, dass auch mehr männliche Bewerber angestellt werden. Dies verstärkt wiederum die Annahme, dass männliche Bewerber für die Stelle besser geeignet sind, weil sie öfter angestellt wurden.¹⁰³

Feedback loops entstehen oft ungewollt. Ein besonders problematisches Beispiel ist die sog. vorhersagende Polizeiarbeit («predictive policing»), bei der Straftaten präventiv verhindert werden sollen, indem der Einsatz der Polizei an Orten konzentriert wird, für die ein hohes Risiko für Straftaten vorhergesagt wird.¹⁰⁴ Wegen des verstärkten Einsatzes der Polizei wird dann auch mehr kriminelles Verhalten entdeckt, womit sich die Vorhersage zu bestätigen scheint. Tatsächlich handelt es sich allerdings um eine sich selbst erfüllende Vorhersage («self-fulfilling prediction»).¹⁰⁵ Werden Daten dieser zusätzlich entdeckten kriminellen Aktivitäten gesammelt und als Trainingsdaten für das System verwendet, ohne den verstärkten Einsatz zu berücksichtigen, wird die Vorhersage weiter verfestigt.

Diese Beispiele zeigen, dass sich Ungleichbehandlungen durch feedback loops mit der Zeit verstärken können.

Diskriminierung durch algorithmische Systeme ist für die Entwickler:innen der Systeme oft nur schwer zu erkennen, insb. bei sog. Proxy-Diskriminierung. Dieses Problem wird durch die Vorgaben des Datenschutzrechts noch verstärkt: Daten, die sich auf geschützte Merkmale beziehen, sind oft als besonders schützenswerte Personendaten zu qualifizieren, an deren Bearbeitung das Datenschutzrecht erhöhte Anforderungen stellt. Als besonders schützenswerte Personendaten gelten bspw. Daten über die Religion, die sexuelle Orientierung, die ethnische Herkunft und die Rasse. Das schweizerische Datenschutzrecht kennt den Grundsatz der Verhältnismässigkeit (Art. 4 Abs. 2 DSG), der unter anderem verlangt, dass so wenig Daten wie möglich gesammelt und bearbeitet werden.¹⁰⁶ Das europäische Datenschutzrecht sieht denselben Grundsatz ausdrücklich als Grundsatz der Datenminimierung vor (Art. 5 Abs. 1 Bst. c DSGVO). Bei der Bearbeitung von besonders schützenswerten Personendaten ist besondere Zurückhaltung geboten. Nach der DSGVO ist die Bearbeitung dieser Daten gar grundsätzlich verboten, wobei eine Reihe weitreichender Ausnahmen besteht (Art. 9 DSGVO).

Aufgrund der Vorgaben des Datenschutzrechts dürfen besonders schützenswerte Personendaten oft weder gesammelt noch in einem System erfasst werden, weil deren Bearbeitung für das mit dem System verfolgte Ziel nicht notwendig ist. Wenn diese Daten im System aber fehlen, lassen sich systematische Zusammenhänge zwischen den geschützten Merkmalen und den Entscheidungen eines algorithmischen Systems nicht erkennen, so dass Diskriminierung nicht entdeckt und nachgewiesen werden kann. So ist es aus datenschutzrechtlicher Sicht in der Regel nicht zulässig, Bewerbende nach Religion oder sexueller Orientierung zu fragen und diese Merkmale im Dossier zu erfassen. Wenn es aber Daten gibt, die mit der Religion oder der sexuellen Orientierung korrelieren und die Bearbeitung dieser Daten durch das algorithmische System zu einer Proxy- Diskriminierung führt, lässt sich diese nicht erkennen und nachweisen. Die EU versucht, dieses Dilemma mit einer erleichterten Bearbeitung von besonders schützenswerten Daten im Zusammenhang mit Hochrisiko-KI-Systemen zu lösen.¹⁰⁷ Für die Schweiz gibt es bisher keine entsprechende Regelung. Das Problem kann (und sollte) aber im Rahmen der Auslegung und Anwendung des Grundsatzes der Verhältnismässigkeit berücksichtigt werden.

Versucht man, Proxy-Diskriminierungen zu verhindern, indem man möglichst wenige Merkmale von Personen in einem algorithmischen System erfasst, besteht die Gefahr, dass der Algorithmus weniger präzise Resultate generiert. Auch das Bestreben, Algorithmen diskriminierungsfrei zu gestalten, indem man die Nicht-Diskriminierung als zusätzliches Ziel des Algorithmus einführt, führt in der Regel zu qualitativ weniger guten Resultaten.¹⁰⁸

Risikofaktoren für Diskriminierung bestehen auf verschiedenen Stufen der Entwicklung und Anwendung algorithmischer Systeme.¹⁰⁹ Die Identifikation von Diskriminierungsursachen ist bei komplexen algorithmischen Systemen selbst bei aufwändigen Tests äusserst schwierig und manchmal sogar unmöglich.¹¹⁰

Die Ursache für Diskriminierung kann schon in der Definition der Modellstruktur und in der Festlegung des Trainingsverfahrens liegen, weil in diese Design-Entscheide der Entwickler:innen persönliche Einschätzungen und Wertungen einfliessen.¹¹¹

Auch die Kombination verschiedener Teile eines algorithmischen Systems kann zu diskriminierenden Ergebnissen führen. So wird bei der Entwicklung oft auf bestehende Komponenten anderer Systeme, bspw. auf Teile von Programmcode («snippets»), Datenbanken und bereits trainierte Modelle zurückgegriffen, die wiederum von anderen Entwickler:innen und aus einem anderen Kontext stammen und deren Entscheidungen enthalten.¹¹²

Das Aufdecken der zu Diskriminierung führenden Design-Entscheidungen der Entwickler:innen ist besonders schwierig, weil algorithmische Systeme oft von grossen Teams über längere Zeit entwickelt werden, was es praktisch unmöglich macht, den Entwicklungsprozess und die im System enthaltenen Wertungen, Biases und Abhängigkeiten ganzheitlich zu verstehen.¹¹³

Machine Learning-Systeme suchen Muster in existierenden Daten, die sie für Vorhersagen für neue Daten verwenden¹¹⁴. Sind die Daten, die für das Training eines Machine Learning-Modells verwendet werden, «verzerrt» bzw. «biased», wird auch die Vorhersage für die neuen Daten «biased» sein. Dieser Mechanismus, der bisweilen als «garbage in, garbage out» bezeichnet wird, kann zu diskriminierenden Vorhersagen führen.¹¹⁵

Datensätze können aus verschiedenen Gründen verzerrt sein. Zum einen sind Daten stets ein Abbild der Vergangenheit und repräsentieren damit früher bestehende Zustände und Probleme. Bestehende Stereotypen und Diskriminierungen fliessen so in die algorithmischen Systeme ein («Historical Bias»).¹¹⁶ Historical Biases können bspw. bei Übersetzungstools vorkommen, indem geschlechtsneutrale Bezeichnungen im Englischen, bspw. «teacher» oder «doctor», in der deutschen Übersetzung zur männlichen Form führen, hier also zu «Lehrer» oder «Arzt».¹¹⁷

Damit KI-Systeme für alle Personengruppen korrekte Aussagen treffen können, sollten diese Gruppen in den Trainingsdaten im richtigen Verhältnis repräsentiert sein.¹¹⁸ Oft sind aber nicht für alle Personengruppen gleich viele Daten verfügbar, namentlich sind Minderheiten in Datensätzen oft untervertreten.¹¹⁹ Ist eine Personengruppe in einem Datensatz unterrepräsentiert, wird das mit diesen Daten trainierte Modell für diese Gruppe in der Regel eine schlechtere Vorhersage liefern oder mehr Fehlentscheide produzieren («Representation Bias»). Eine solche Verzerrung kann auftreten, wenn Daten eine Situation spiegeln, in der eine Ungleichbehandlung bestand, etwa bei Daten über historische Beschäftigungsverhältnisse, in denen Frauen unterrepräsentiert sind, weil ihnen der Zugang zu bestimmten Berufen verwehrt war.¹²⁰ Verzerrungen können sich aber auch bei Daten ergeben, die aus der Nutzung von Diensten oder Produkten stammen, die von gewissen Personengruppen weniger oder gar nicht genutzt werden. So sind bspw. Datensätze, die aus Social Media stammen, besonders unausgewogen, weil gewisse demographische Gruppen, bspw. ältere Menschen, Personen aus bestimmten geographischen Regionen oder Personen mit limitiertem Internetzugang, zu wenig vertreten sind.¹²¹ Armut, die geographische Lage oder eine bestimmte Lebensform sind weitere Faktoren, die dazu führen können, dass von bestimmten Personen weniger Daten vorliegen.¹²² Auch bei Systemen der sog. generativen KI sind die verwendeten Trainingsdaten regelmässig nicht repräsentativ. Wenn untervertretene Personen auf Grundlage von Daten über die Mehrheit beurteilt werden, kann dies dazu führen, dass bestehende Vorteile strukturell bevorteilter Mehrheiten verstärkt werden, weil die Minderheiten schlechter beurteilt werden.¹²³ Eine Unterrepräsentation in den Daten führte bspw. dazu, dass ein algorithmisches Bilderkennungssystem Menschen mit schwarzer Hautfarbe nicht korrekt erkennen konnte.¹²⁴

Ein anderer Grund für Bias in den Trainingsdaten liegt darin, dass die Qualität der Daten für verschiedene Gruppen unterschiedlich sein kann («Measurement Bias»).¹²⁵ Gerade für Minderheiten ist die Qualität der erhobenen Daten oft systematisch schlechter als für die Mehrheit. So sind bspw. im Gesundheitsbereich Daten von sozial und finanziell schlechter gestellten Personen oft lückenhaft, weil sie schlechteren Zugang zur medizinischen Versorgung haben.¹²⁶

Ein Risiko für Diskriminierung besteht auch bei der Aufbereitung des Trainingsdatensatzes, etwa beim Labeln von Trainingsdaten. Die Vergabe der Labels kann bspw. einen Gender-Bias aufweisen, etwa wenn Frauen für einen Beruf systematisch als weniger geeignet eingeschätzt werden als sie es tatsächlich sind. Werden solche Labels für das Trainieren eines algorithmischen Systems verwendet, der beruflichen Erfolg vorhersagen soll, wird das System Frauen diskriminieren.

Auch das Validieren und Testen eines trainierten Modells kann zu Diskriminierung führen, wenn die Validierungs- und Testdaten nicht ausgewogen sind oder die Qualität des Modells mit standardisierten Benchmark-Datensätzen überprüft wird, die für die geplante Verwendung des KI-Systems nicht repräsentativ sind («Evaluation Bias»).¹²⁷

Die Ursachen für Diskriminierung können auch in der Anwendung algorithmischer Systeme liegen. Denn Personen, welche diese Systeme verwenden, müssen deren Ergebnisse in aller Regel interpretieren. Der dabei bestehende Spielraum kann bewusst oder unbewusst in diskriminierender Weise genutzt werden, etwa wenn die zuständige Person das Ergebnis so interpretiert, dass Angehörige einer Gruppe mit geschützten Merkmalen einen Nachteil erleiden («Interpretation Bias»).¹²⁸

Zu Diskriminierung kann die Anwendung algorithmischer Systeme aber auch führen, wenn ein sog. «Aggregation Bias» besteht. Dabei handelt es sich um eine systematische Verzerrung, die entsteht, wenn ein Algorithmus auf alle Personen einer Population angewendet wird, obwohl er für manche Gruppen schlecht oder gar nicht funktioniert. Ein «Aggregation Bias» kann sich ergeben, wenn ein Prognosealgorithmus für die Mehrheit der Bevölkerung optimiert wurde, weil nur Daten über die Mehrheit für das Training verwendet wurden. Ein so trainierter Algorithmus kann für Vorhersagen über Minderheiten ungeeignet sein, was zu Diskriminierung führen kann. Dasselbe gilt, wenn ein für die Allgemeinheit entwickeltes System auf Gruppen oder Fälle angewendet wird, für die eine gesonderte Betrachtung angezeigt wäre.¹²⁹

Problematisch kann die Anwendung von algorithmischen Systemen auch sein, wenn diese in einem einer Situation verwendet werden, für die sie nicht vorgesehen waren. Dies wird als «Transfer Context Bias» bezeichnet.¹³⁰ Wenn ein algorithmisches System für die Beurteilung einer bestimmten Personengruppe entwickelt wurde, kann er bei der Anwendung auf eine andere Personengruppe zu ungenauen oder falschen Ergebnissen führen.

Ein weiteres Problem ist die sog. Automatisierungsverzerrung («Automation Bias»). Gemeint ist damit ein (zu) hohes Vertrauen in algorithmische Systeme, die von den Anwendern bisweilen für unfehlbar gehalten werden.¹³¹ So wird algorithmischen Systemen unterstellt, dass sie wegen der fehlenden Emotionalität weniger diskriminierend seien als menschliche Entscheider. Dass algorithmische Systeme emotionslos sind, bedeutet aber nicht, dass sie wertfrei bzw. «unbiased» sind.¹³² Es ist allerdings unklar, ob und in welchen Konstellationen die Gefahr eines «Automation Bias» besteht und wie gross sie tatsächlich ist. Relevant ist diese Verzerrung möglicherweise vor allem deshalb, weil Menschen nur zurückhaltend von den Empfehlungen algorithmischer Systeme abweichen, v.a. wenn sie die Abweichung gegenüber Vorgesetzten begründen müssen und die selbst gefällte Entscheidung falsch sein könnte (sog. «Default-Effekt»).¹³³

Diskriminierungen durch algorithmische Systeme lassen sich nur verhindern, wenn sich alle Beteiligten, von den Entwickler:innen bis zu den Anwender:innen, der Gefahr bewusst sind. Alle Beteiligten müssen deshalb für die Problematik sensibilisiert und über die Lösungsansätze aufgeklärt werden. Erforderlich ist dafür ein Grundverständnis der technischen Funktionsweise algorithmischer Systeme und der rechtlichen Regelung von Diskriminierung. Die Sensibilisierung und Aufklärung sollte innerhalb der Organisation erfolgen, welche die algorithmischen Systeme entwickelt und/oder anwendet, bspw. im Rahmen interner Schulungen.

Da Diskriminierung durch algorithmische Systeme oft durch die Verwendung problematischer Trainingsdaten verursacht wird,¹³⁴ sind qualitativ hochwertige Trainingsdaten essenziell. Zur Vermeidung von Diskriminierung ist entscheidend, dass die Trainingsdaten mit Blick auf die vorgesehene Anwendung der algorithmischen Systeme repräsentativ sind.¹³⁵ Repräsentative Datensätze können durch das Hinzufügen fehlender Daten oder durch die Gewichtung von Daten erreicht werden.¹³⁶ Zu diesem Zweck kann ein Datensatz auch mit synthetischen Daten ergänzt werden.

Das Generieren qualitativ hochwertiger Datensätze ist allerdings nicht immer einfach. Oft ist gar nicht erkennbar, dass Daten nicht repräsentativ sind, bspw. weil sie pseudonymisiert oder aggregiert sind oder weil gewisse, für die Prüfung der Repräsentativität notwendige Merkmale und Attribute im Datensatz nicht vorhanden sind.¹³⁷ Fraglich ist auch, wie Repräsentativität erreicht werden kann, wenn für gewisse Bevölkerungsgruppen keine oder zu wenig Daten verfügbar sind. Hinzu kommt, dass das Beschaffen von Daten oft mit hohen Kosten verbunden ist. Gerade Startups können sich solche Datensätze oft nicht leisten. Das fördert die Tendenz, sich mit einem funktionierenden System zufrieden zu geben und Diskriminierungen in Kauf zu nehmen. Aus ökonomischen Gründen bestehen jedenfalls kaum Anreize, die Trainingsdaten möglichst diskriminierungsfrei zu gestalten.¹³⁸

Wegen ihrer zentralen Bedeutung enthält die KI VO eine Reihe von Vorgaben zur Qualität von Trainings-, Validierungs- und Testdaten, die bei Hochrisiko-KI-Systemen verwendet werden. Mit Blick auf die Vermeidung von Diskriminierung schreibt die KI VO namentlich vor, dass die Daten auf mögliche Verzerrungen (Biases) zu untersuchen sind, welche die Gesundheit und Sicherheit von Personen beeinträchtigen, sich negativ auf die Grundrechte auswirken oder zu einer nach dem Unionsrecht verbotenen Diskriminierung führen können, insb. wenn die Outputs die Inputs künftiger Verwendungen beeinflussen (Art. 10 Abs. 2 Bst. f KI VO). Zudem sind geeignete Massnahmen zur Erkennung, Verhinderung und Abschwächung möglicher Biases zu ergreifen (Art. 10 Abs. 2 Bst. f KI VO) und relevante Datenlücken zu beheben (Art. 10 Abs. 2 Bst. g KI VO). Überdies müssen Trainings-, Validierungs- und Testdatensätze sowie Labels relevant und hinreichend repräsentativ sein, angemessen auf Fehler überprüft werden und im Hinblick auf den beabsichtigten Zweck so vollständig wie möglich sein. Ausserdem müssen die Datensätze die geeigneten statistischen Merkmale aufweisen, gegebenenfalls auch bezüglich der Personen oder Personengruppen, für die das Hochrisiko-KI-System bestimmungsgemäss verwendet werden soll (Art. 10 Abs. 3 KI VO).

Die Bestimmungen in der KI VO hinterlassen allerdings viele offene Fragen. Schon die Begriffe Verzerrung bzw. «Bias» sind unklar, zumal eine Definition fehlt.¹³⁹ Zudem ist ungewiss, wann statistische Merkmale für einen konkreten Kontext eines KI-Systems geeignet sind.¹⁴⁰ Vor allem aber erfassen die Vorgaben zur Datenqualität nur eine (wenn auch wichtige) Ursache von Diskriminierung durch algorithmische Systeme. Denn richtige und repräsentative Trainingsdaten sind zwar meist eine notwendige, aber keine hinreichende Bedingung, dass mit solchen Daten trainierte Systeme diskriminierungsfrei sind.¹⁴¹

Im Datenschutzrecht gilt das Prinzip des «Privacy by Design» (Art. 7 DSG), welches die für eine Datenbearbeitung Verantwortlichen verpflichtet, das Einhalten der Vorgaben des Datenschutzrechts beim Design der Bearbeitungsprozesse durch technische und organisatorische Massnahmen sicherzustellen.¹⁴² Ein solcher Ansatz könnte auch beim Problem der Diskriminierung durch algorithmische Systeme verfolgt werden. Ein Prinzip der «Non-Discrimination by Design» würde verlangen, dass algorithmische Systeme von Anfang an diskriminierungsfrei gestaltet werden. Der Grundsatz würde nicht nur die Entwicklung der Systeme erfassen, sondern auch ein laufendes Testen und Überwachen bei der Anwendung erfordern.

Mit einem «by Design»-Ansatz wird zwar eigentlich nur eine Selbstverständlichkeit zum Ausdruck gebracht, nämlich: dass die Einhaltung der Rechtsordnung nicht erst sichergestellt werden kann, wenn bereits ein Regelverstoss vorliegt, weshalb die Ausgestaltung von Prozessen oder Systemen von Anfang an darauf ausgerichtet sein muss, die Vorgaben des Rechts einzuhalten. Da sich Diskriminierungen durch algorithmische Systeme nur durch eine entsprechende Ausgestaltung der Systeme verhindern oder zumindest verringern lassen, kann es dennoch hilfreich sein, dies durch einen ausdrücklichen «Non-Discrimination by Design»-Ansatz zu verdeutlichen. Bei algorithmischen Systemen, die sich weiterentwickeln, bleibt dieser Ansatz nicht auf das ursprüngliche Design des Systems beschränkt. Vielmehr muss über den gesamten Lebenszyklus immer wieder überprüft werden, ob die Anwendung eines Systems aufgrund der Weiterentwicklung nicht doch zu Diskriminierung führen. Trifft dies zu, muss das System verbessert werden.

Für die Umsetzung eines «Non-Discrimination by Design»-Ansatzes muss zum einen sichergestellt werden, dass die verwendeten Daten keinen Bias enthalten, der während des Trainings des algorithmischen Systems internalisiert werden kann.¹⁴³ Das reicht aber nicht, um Diskriminierung zu verhindern: Einen Algorithmus so zu optimieren, dass er eine bestimmte Aufgabe bestmöglich erfüllt, bedeutet keineswegs, dass Diskriminierung ausgeschlossen wird. Im Gegenteil kann gerade das Streben nach einer «optimalen» Lösung zu einem diskriminierenden System führen.¹⁴⁴ Wenn Diskriminierungsfreiheit nicht explizit als zusätzliches Ziel definiert wird, stellt sie sich höchstens zufällig ein. Fehlt eine solche Vorgabe, wird ein optimierter Algorithmus oft diskriminierende Entscheidungen fällen.

Der hier vorgeschlagene Ansatz würde erfordern, dass die Diskriminierungsfreiheit explizit als Bedingung im Algorithmus festgelegt wird, auch wenn das die Genauigkeit der Ergebnisse reduzieren kann.¹⁴⁵ Das bedeutet einerseits, dass KI-Systeme bei Entscheidungen oder Empfehlungen in der Regel weder auf geschützte Merkmale noch auf Proxies für solche Merkmale abstellen sollten. In gewissen Fällen ist das aber entweder nicht möglich oder nicht sinnvoll. Der Verzicht auf die Berücksichtigung geschützter Merkmale kann allenfalls sogar dazu führen, dass erforderliche Unterscheidungen nicht vorgenommen werden, sodass es zu einer Diskriminierung aufgrund von Gleichbehandlung¹⁴⁶ kommt. In diesen Konstellationen muss deshalb sichergestellt werden, dass die Möglichkeit der qualifizierten Rechtfertigung einer Ungleichbehandlung¹⁴⁷ im Algorithmus explizit berücksichtigt wird. Erste Ansätze dazu sind in der Literatur bereits vorhanden.¹⁴⁸ Bei dieser Frage, die sich an der Schnittstelle von Rechtswissenschaft und Informatik bewegt, besteht allerdings Bedarf nach vertiefter, interdisziplinärer Forschung.

Die zunehmende Verbreitung von algorithmischen Systemen erhöht die Gefahr der Diskriminierung durch solche Systeme. Diese ist aus zwei Gründen besonders problematisch: Zum einen werden algorithmische Systeme meist auf eine Vielzahl von Fällen angewendet, weshalb Diskriminierung durch solche Systeme regelmässig viele Menschen trifft (Skalierung). Zum andern sind Entscheidungen von algorithmischen Systemen regelmässig nur beschränkt erklärbar und nachvollziehbar, was den Nachweis der Diskriminierung erschwert.

Die Verwendung von algorithmischen Systemen schafft erhebliche Risiken für Diskriminierung, bietet aber auch Chancen, um Diskriminierung zu verringern oder zu verhindern. Zum einen können algorithmische Systeme helfen, von Menschen verursachte Diskriminierung zu entdecken. Zum andern ist es ungleich einfacher, «Biases» in solchen Systemen zu bereinigen, als die Voreingenommenheit und diskriminierenden Neigungen von Menschen zu überwinden.

Das Risiko der Diskriminierung durch algorithmische Systeme lässt sich nur durch ein Zusammenwirken von rechtlichen und technischen Massnahmen verringern. Das erfordert eine vertiefte Zusammenarbeit von Jurist:innen und Informatiker:innen, die auf einem gegenseitigen Verständnis der Regeln, Mechanismen und Herausforderungen beruht. Dieser Beitrag macht einen ersten Schritt, indem er versucht, interessierten Jurist:innen die technischen Grundlagen zu vermitteln, die sie benötigen, um die Ursachen für Diskriminierung durch algorithmische Systemen und die Mittel zur Bekämpfung zu verstehen. Die Darstellung der rechtlichen Grundlagen sollte Informatiker:innen helfen, den rechtlich relevanten Begriff der Diskriminierung besser zu verstehen und Diskriminierungen im Rechtssinn von den weiteren Konstellationen abzugrenzen, die in der Informatik als Diskriminierung verstanden werden, rechtlich aber zulässig sind. Dazu gehört insb. die in der Informatik bisher zu wenig beachtete Möglichkeit der Rechtfertigung von Ungleichbehandlungen.

Ein Zusammenwirken von Recht und Technik ist auch bei den konkreten Massnahmen erforderlich, die getroffen werden müssen, um Diskriminierung durch algorithmische Systeme zu vermeiden. Dieser Ansatz kann als «Non-Discrimination-by-Design» bezeichnet werden. Ausgangspunkt ist dabei die Frage, welche Ungleichbehandlungen rechtlich als Diskriminierung zu qualifizieren sind und wie Diskriminierung durch algorithmische Systeme entsteht. Auf dieser Grundlage können technische, rechtliche und weitere Lösungen entwickelt werden, die dazu beitragen, das Auftreten rechtlich relevanter Diskriminierung zu verhindern. Im Vordergrund stehen dabei die Aufklärung und Sensibiliserung der Entwickler:innen und Anwender:innen von algorithmischen Systemen, Anforderungen an die Qualität der Trainingsdaten, die explizite Vorgabe des Ziels der Nicht-Diskriminierung an algorithmische Systeme sowie das laufende Testen und Überwachen der Systeme bei der Anwendung. Das kohärente Zusammenwirken dieser Ansätze sollte ermöglichen, Diskriminierungen durch algorithmische Systeme massgeblich zu verringern.

Florent Thouvenin, ...

Stephanie Volz, ...

Soraya Weiner war von 2022 - 2023 als wissenschaftliche Mitarbeiterin am ITSL (Center for Information Technology, Society, and Law) der Universität Zürich angestellt. Zurzeit arbeitet sie als Juristin im Datenschutz und ist Doktorandin bei Prof. Dr. Florent Thouvenin, ebenfalls an der Universität Zürich. Dieser Beitrag gibt die persönliche Meinung der Autorin wieder und entspricht nicht notwendigerweise der Position ihrer Arbeitgeberin.

Christoph Heitz, ...