Jusletter IT

Künstliche Intelligenz (KI) hat sich als Schlagwort im Kontext der digitalen Transformation etabliert. Die enormen Datenmengen und der technische Fortschritt im Bereich des maschinellen Lernens führen dazu, dass neben der Privatwirtschaft auch der Staat verschiedene KI-Anwendungen einsetzt. Das Bundesamt für Statistik BFS führt in einer Projektdatenbank des Kompetenznetzwerks für Künstliche Intelligenz (Competence Network for Artificial Intelligence, CNAI) über 60 Projekte auf, in denen die Bundesverwaltung KI einsetzt, Pilotprojekte durchführt oder durchgeführt hat. So setzt etwa die Informatikabteilung des Eidgenössischen Departements für auswärtige Angelegenheiten EDA¹ einen Mailbot ein. Dieser analysiert automatisiert eingehende deutschsprachige E-Mails, priorisiert sie und erstellt entsprechende Incidenttickets für das Support System. Dadurch konnten die personellen Ressourcen des EDA-Helpdesks entlastet werden.² Bei MeteoSchweiz werden die Daten des Pollenmessnetzes SwissPollen durch ein KI-System ausgewertet, wodurch der Bevölkerung die Pollenmessung und die Pollenprognosen auf der MeteoSchweiz Webseite oder der App in Echtzeit zur Verfügung stehen.³

Der vorliegende Beitrag gibt zunächst einen Überblick über die verschiedenen international und national verbreiteten Begriffsverständnisse von KI-Systemen (Kapitel 2.). Anschliessend werden ausgewählte Einsatzbereiche von KI in der öffentlichen Verwaltung präsentiert (Kapitel 3). Darauf aufbauend werden die rechtlichen Herausforderungen und Rahmenbedingungen skizziert (Kapitel 4). Schliesslich wird ein Blick auf die Rechtsetzung aus der Perspektive der Bundesverwaltung geworfen (Kapitel 5). Der Beitrag schliesst mit einem Fazit (Kapitel 6).

Es existieren verschiedene Begriffsverständnisse zu «KI». Obwohl der Begriff «KI» bereits auf die 1950er Jahre zurückgeht,⁴ kristallisieren sich erst im Jahr 2024 verschiedene Legaldefinitionen heraus.

So enthält Art. 3 Ziff. 1 des europäischen AI Act⁵ eine Legaldefinition, die sich an jener der OECD (Organisation for Economic Co-operation and Development) orientiert.⁶ Demnach handelt es sich bei einem KI-System um «ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist, das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben, wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können».

Am 17. Mai 2024 hat das Ministerkomitee des Europarates die Konvention über künstliche Intelligenz verabschiedet.⁷ Diese definiert KI-Systeme in Art. 2 wie folgt: «a machine-based system that for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations or decisions that may influence physical or virtual environments. Different artificial intelligence systems vary in their levels of autonomy and adaptiveness after deployment.» Die Definition ist angelehnt an jene des AI Act der EU. Da die Schweiz Mitglied im Europarat ist und die Konvention voraussichtlich ratifizieren wird, wird diese Definition für die Schweiz von Bedeutung sein.

Neben den beiden vorgenannten Legaldefinitionen ist auf die Terminologie des vom Bundesrat 2022 eingesetzten CNAI⁸ hinzuweisen. Das CNAI versteht unter einem KI-System «ein maschinenbasiertes System, das für explizite oder implizite Ziele aus den empfangenen Inputs schlussfolgert, wie es Outputs wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen kann, welche die physische oder virtuelle Umgebung beeinflussen können. KI-Systeme können mit unterschiedlichem Ausmass an Autonomie ausgestattet werden.»⁹ Bei dieser Definition handelt es sich allerdings nicht um eine Legaldefinition.

Die drei vorstehend erwähnten Definitionen beziehen sich auf KI-Systeme. Allerdings können auch bei algorithmenbasierten Systemen, die nicht unter die Definition eines KI-Systems fallen, dieselben rechtlichen Herausforderungen entstehen.¹⁰ Der Einheitlichkeit halber wird im Folgenden dennoch der Begriff des KI-Systems verwendet. Ferner ist darauf hinzuweisen, dass KI-Systeme unterschiedliche Automatisierungsgrade aufweisen können. Häufig wird zwischen Teil- und Vollautomatisierung unterschieden.¹¹ Ein Verfahren ist teilautomatisiert, wenn KI-Systeme unterstützend eingesetzt werden (z.B. Entscheidungsempfehlung). Ein Verfahren ist vollautomatisiert, wenn keinerlei menschliche Intervention stattfindet.¹²

Das folgende Kapitel befasst sich mit der Eignung der öffentlichen Verwaltung für den Einsatz von KI sowie mit den Bereichen, in denen KI in der Schweiz eingesetzt wird. Dabei sind die Standardisierung im Bereich der Massenverwaltung (Abschnitt 3.1), der Einsatz von Chatbots und Voicebots (Abschnitt 3.2), die intelligente Durchsuchung von Informationen (Abschnitt 3.3) sowie das Treffen von Prognosen (Abschnitt 3.4) von zentraler Bedeutung.

Der KI-Einsatz erfordert in der Regel grosse, bestenfalls strukturierte Datenmengen.¹³ Die öffentliche Verwaltung verfügt über umfangreiche Datenbestände aus unterschiedlichen Quellen. Zudem laufen viele Tätigkeiten und Aufgaben immer gleich ab (z.B. die Prüfung, ob ein Gesuch mit allen notwendigen Angaben bei der richtigen Stelle eingereicht wurde).¹⁴ Bereiche, in denen grosse Datenbestände vorhanden sind und Prozesse strukturiert ablaufen, sind für den KI-Einsatz besonders geeignet. Dazu zählen in der öffentlichen Verwaltung insbesondere das Steuer- und das Sozialversicherungsverfahren. In beiden Bereichen werden jährlich riesige Datenmengen generiert und viele Prozesse laufen standardisiert ab. Zur Verarbeitung dieser Datenmengen kann KI eingesetzt werden. Im Steuerverfahren können z.B. die Steuererklärungen aufbereitet und für das Veranlagungsverfahren vorbereitet werden.¹⁵ So werden in einigen Kantonen elektronisch eingereichte Steuererklärungen durch automatisierte Veranlagungssysteme (teil-)automatisiert bearbeitet.¹⁶ In Zukunft soll KI auch weiterführend in den Steuerverwaltungen eingesetzt werden.¹⁷ Im Sozialversicherungsbereich stehen insbesondere die automatisierte Bearbeitung von Anträgen zur Prämienverbilligung sowie die automatisierte Betrugsbekämpfung im Vordergrund.¹⁸

Chatbots sind Onlinedialogsysteme, die in natürlicher Sprache und rund um die Uhr in gleichbleibender Qualität kommunizieren können.¹⁹ Die Interaktion findet dabei in einer digitalen Umgebung statt (z.B. auf der Gemeindewebseite oder einem Social-Media-Kanal).²⁰ Voicebots sind KI-basierte Computerprogramme, die menschliche Sprache erkennen und auf diese reagieren, um mit Nutzenden zu interagieren.²¹ Auch sie sind rund um die Uhr und mit derselben Qualität im Einsatz.²²

In den vergangenen Jahren lässt sich in Schweizer öffentlichen Verwaltungen eine Zunahme der Nutzung von Chatbots und Voicebots für die Kommunikation mit der Bevölkerung beobachten.²³ So hat etwa die Eidgenössische Stiftungsaufsicht ESA im Januar 2024 den Chatbot «Esi» lanciert. Der Chatbot beantwortet verschiedene Fragen rund um das Schweizer Stiftungswesen.²⁴ Der Chatbot «StatBot.swiss» des Bundesamtes für Statistik interagiert mit den Nutzenden nach dem Frage-Antwort-Prinzip. Das Ziel dieses Chatbots besteht in der Unterstützung bei der Durchsuchung offener Datensätze.²⁵ Die Stadt St. Gallen implementierte den Chatbot «Gallus», dessen Zielsetzung in der vereinfachten Zugänglichkeit bestimmter Basisdienste für die Bevölkerung besteht.²⁶ Im Kanton Aargau wird seitens des Strassenverkehrsamtes der Voicebot «Vicky» eingesetzt, um Standardfragen (auf Schweizerdeutsch) von Anrufenden zu beantworten.²⁷

Es ist zu betonen, dass nicht alle eingesetzten Chatbots tatsächlich auf KI basieren. Häufig werden auch sog. regelbasierte²⁸ Chatbots eingesetzt, die nicht selbstständig lernen und deren Antworten auch nicht über die vorprogrammierten Antworten hinausgehen können. So setzt etwa das Zivilstandsamt des Kantons Basel-Stadt einen regelbasierten Chatbot u.a. für die Bestellung von Geburtsurkunden oder Heimatscheinen ein.²⁹

Der Einsatz von KI bietet sich zudem an, um die rasant wachsenden Datenmengen, deren Auswertung durch Menschen aufgrund der schieren Menge und Komplexität kaum mehr in angemessener Zeit möglich ist, intelligent zu durchsuchen. Im Bereich der Polizeiarbeit betrifft dies insbesondere die Bekämpfung von Wirtschaftskriminalität, der organisierten Kriminalität im Allgemeinen oder auch der Cyberkriminalität.³⁰ Dazu gehört schliesslich auch die intelligente Videoanalyse, da der Einsatz von KI bei der Bilderkennung und -auswertung besonders effizient ist.³¹

Die Erstellung von Prognosen bildet einen weiteren Anwendungsbereich der KI. Im Kontext der Stadtplanung und -entwicklung hin zu sog. Smart Cities erweist sich der KI-Einsatz als besonders attraktiv. Dabei werden verschiedene Daten in der Stadt erhoben und miteinander verknüpft. Derzeit werden z.B. im Kanton Basel-Stadt verschiedene Projekte zur nachhaltigen Stadtentwicklung durchgeführt. Zu den Anwendungsgebieten zählt u.a. die intelligente Steuerung von Fussgängerinnen und Fussgängern im Strassenverkehr mittels Abstimmung von Lichtsignalanlagen, das Schaffen eines intelligenten Energienetzes oder die Analyse und Verbesserung der Luftqualität durch den Einsatz von Mikrosensoren auf Trams.³²

In der Polizeiarbeit wird KI neben der Informationsdurchsuchung³³ auch zur Prognose eingesetzt. Im Bereich der vorausschauenden Polizeiarbeit, auch als Predictive Policing bezeichnet, können statistikbasierte Vorhersagen über Verhaltensweisen oder Ereignisse getroffen werden.³⁴ In allen Deutschschweizer Kantonen wird im Rahmen des «Risikoorientierten Sanktionenvollzugs» (ROS) ein «Fall Screening Tool» zur Prüfung von Vollzugslockerungen eingesetzt.³⁵ Dadurch soll das Rückfallrisiko während und nach dem Vollzug gesenkt werden.³⁶

Die folgenden Abschnitte thematisieren verschiedene rechtliche Herausforderungen, die sich im Kontext des KI-Einsatzes in der öffentlichen Verwaltung stellen, und skizzieren die erforderlichen rechtlichen Rahmenbedingungen für den KI-Einsatz in der öffentlichen Verwaltung. Das Legalitätsprinzip (Abschnitt 4.1), die Verfahrensgarantien und Verfahrensgrundsätze (Abschnitt 4.2), das Diskriminierungsverbot (Abschnitt 4.3), die informationelle Selbstbestimmung und das Datenschutzrecht (Abschnitt 4.4) sowie der Vertrauensschutz (Abschnitt 4.5) sind dabei von entscheidender Bedeutung. Schliesslich wird das Schlagwort «Transparenz» im Kontext von KI erörtert (Abschnitt 4.6).

Das in Art. 5 Abs. 1 Bundesverfassung (BV³⁷) verankerte Legalitätsprinzip besagt, dass staatliches Handeln immer einer rechtlichen Grundlage bedarf.³⁸ Die rechtliche Grundlage muss sowohl hinsichtlich ihrer Normstufe als auch hinsichtlich ihrer Normdichte ausreichend bestimmt sein.³⁹ Dieser Grundsatz ist auch im Zusammenhang mit dem KI-Einsatz zu beachten.⁴⁰ So ist für den KI-Einsatz bei der Entscheidungsfindung in Verwaltungsverfahren regelmässig eine spezifische und explizite Gesetzesgrundlage zu fordern.⁴¹ Neben den in der Bundesverfassung festgelegten Anforderungen, sind auch die Bestimmungen des Datenschutzgesetz (DSG⁴²) zu beachten. Demnach ist z.B. für die Bearbeitung von besonders schützenswerten Personendaten durch Bundesorgane oder in Fällen von Profiling eine formell gesetzliche Grundlage notwendig (Art. 34 Abs. 2 lit. a und b DSG).⁴³

Verfahrensgarantien und Verfahrensgrundsätze gewährleisten die Rechtmässigkeit eines Verfahrens. Die verfassungsrechtlichen Verfahrensgarantien sind in den Artikeln 29 bis 32 BV verankert. Sie richten sich an alle Verfahrensbeteiligten und sind von den Behörden in allen Verfahren anzuwenden.⁴⁴ Es handelt sich dabei um Minimalstandards mit grundrechtlichem Charakter. Die Verfahrensgarantien verfolgen sowohl individualrechtliche als auch rechtsstaatliche Ziele. Der betroffenen Person sollen sie die prozeduralen Rechte garantieren. Aus rechtsstaatlicher Perspektive zielen sie auf die Wahrheitsfindung ab.⁴⁵ Mit Blick auf das Verwaltungshandeln sind die «allgemeinen Verfahrensgarantien» gemäss Art. 29 BV von besonderer Bedeutung.⁴⁶ Im Zusammenhang mit dem Einsatz von KI ist im Folgenden insbesondere der Anspruch auf rechtliches Gehör vertieft zu betrachten (Abschnitt 4.2.1).

Im Gegensatz zu den Verfahrensgarantien, die konkrete Rechte und Garantien gewähren, handelt es sich bei den Verfahrensgrundsätzen um Leitlinien oder Prinzipien, die die Durchführung eines Prozesses steuern. Sie sind positivrechtlich im Verfahrensrecht verankert.⁴⁷ Mit Blick auf den Einsatz von KI wird im Folgenden insbesondere auf den Untersuchungsgrundsatz eingegangen (Abschnitt 4.2.2).⁴⁸

Der verfassungsrechtlich garantierte Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) dient der Sachverhaltsabklärung und stellt zugleich ein persönlichkeitsbezogenes Mitwirkungsrecht dar.⁴⁹ Rechtsprechung und Lehre leiten aus dem rechtlichen Gehör verschiedene Teilgehalte ab.⁵⁰ Dazu zählen insbesondere der Anspruch auf vorgängige Äusserung und Mitwirkung im Verfahren sowie das Recht auf Begründung.⁵¹ Diese beiden Teilgehalte sind im Kontext von KI von besonderer Relevanz.

Auf Bundesebene konkretisiert Art. 30 Abs. 1 Verwaltungsverfahrensgesetz (VwVG⁵²) den Anspruch auf vorgängige Äusserung und Mitwirkung im Verwaltungsverfahren. Die Parteien sind vor dem Erlass einer Verfügung anzuhören bzw. ihnen ist Gelegenheit zur Stellungnahme zu geben.⁵³ Dieser Anspruch stellt für die betroffenen Parteien das wichtigste Mittel dar, um auf die Ermittlung des rechtserheblichen Sachverhalts Einfluss zu nehmen.⁵⁴ Art. 30 Abs. 2 VwVG zählt abschliessend fünf Ausnahmesituationen auf, in denen die Behörde von einer Anhörung absehen kann.⁵⁵ Damit die Betroffenen überhaupt Stellung nehmen können, müssen sie die wesentlichen Elemente des voraussichtlichen Verfügungsinhalts kennen.⁵⁶ Die Behörde ist hingegen nicht verpflichtet, den Äusserungen der Betroffenen zu folgen. Sie ist allerdings verpflichtet, die Äusserungen zur Kenntnis zu nehmen, zu überprüfen und sich angemessen mit den Einwänden bei der Entscheidungsfindung und -begründung auseinanderzusetzen.⁵⁷

Der Einsatz von KI im Verwaltungsverfahren schränkt den Anspruch auf vorgängige Äusserung nicht per se ein. Vielmehr kommt es auf den Zeitpunkt des KI-Einsatzes und den Automatisierungsgrad des KI-Systems an.⁵⁸ Insbesondere in vollautomatisierten Verfahren kann der Anspruch auf vorgängige Äusserung jedoch beeinträchtigt sein. Wird ein solches Verfahren von einer natürlichen Person eingeleitet (z.B. durch einen Antrag) und anschliessend ohne jegliche menschliche Intervention abgewickelt, kann sich die antragstellende Person nur bei der eigentlichen Antragstellung äussern. Eine Äusserung im weiteren Verlauf des vollautomatisierten Verfahrens ist nicht möglich.⁵⁹ Der Grad der Beeinträchtigung des Anspruchs auf vorgängige Äusserung ist letztlich von zwei Faktoren abhängig: Einerseits von den Möglichkeiten der Äusserung bei der Antragstellung und andererseits davon, inwiefern die getätigten Äusserungen vom System berücksichtigt werden können.⁶⁰ In der Literatur wird daher dafür plädiert, vollautomatisierte Verfahren nur dann einzusetzen, wenn den Begehren der Betroffenen vollumfänglich entsprochen wird. Im Falle einer Entscheidung, die sich nachteilig für die betroffene Person auswirkt, ist das rechtliche Gehör durch eine natürliche Person zu gewährleisten.⁶¹ Dies würde allerdings wiederum dazu führen, dass es sich nicht mehr um eine vollautomatisierte Entscheidung handelt.

Die verfassungsrechtlich verankerte Begründungspflicht wird in Art. 35 Abs. 1 VwVG für schriftliche Verfügungen konkretisiert. Die Begründungspflicht stellt die Nachvollziehbarkeit und Rechtsstaatlichkeit der behördlichen Entscheidungsfindung im Einzelfall sicher und erfüllt verschiedene Funktionen.⁶² So soll die Begründung z.B. eine sachgerechte Anfechtung der Verfügung ermöglichen, bei der betroffenen Person Akzeptanz schaffen oder die Behördenmitarbeitenden zur Selbstreflexion anregen.⁶³ Die verschiedenen Funktionen der Begründung kommen grundsätzlich auch zum Tragen, wenn eine Verfügung KI-gestützt erlassen wird. Je nach Art des eingesetzten KI-Systems kann es jedoch sein, dass der Weg, wie eine Entscheidung zustande gekommen ist, für die Behördenmitarbeitenden nicht nachvollziehbar ist.⁶⁴ Sie können daher den Anforderungen an die Begründungspflicht nicht ohne weiteres nachkommen. Es genügt nicht, der betroffenen Person die Funktionsweise des KI-Systems allgemein zu erklären.⁶⁵ Denn eine solche Erklärung stellt gerade keine einzelfallweise Begründung einer Verfügung dar und legt den Entscheidungsvorgang für die betroffene Person nicht offen.⁶⁶ Zusammenfassend ist festzuhalten, dass die Funktionen, die der Begründungspflicht zukommen, auch bei einem KI-Einsatz sichergestellt sein müssen.⁶⁷

Gemäss dem Untersuchungsgrundsatz (Art. 12 VwVG) ermitteln die Behörden den Sachverhalt von Amtes wegen. Die Behörde ist als Entscheidungsträgerin für die Beschaffung der Entscheidungsgrundlage verantwortlich.⁶⁸ Sie ermittelt alle rechtserheblichen Informationen.⁶⁹ Der Untersuchungsgrundsatz wird durch die Mitwirkungspflicht gemäss Art. 13 VwVG eingeschränkt, indem die Parteien verpflichtet werden, an der Feststellung des Sachverhalts mitzuwirken.⁷⁰

Im Verwaltungsverfahren müssen alle Informationen ermittelt werden, die den verfahrensspezifischen Sachverhalt betreffen. Die für den Sachverhalt relevanten Informationen müssen vollständig und korrekt sein. Darüber hinaus müssen sie im erforderlichen Umfang verfügbar sein, um damit den rechtserheblichen Sachverhalt ermitteln zu können.⁷¹ Im automatisierten Verfahren werden die Sachverhaltsdaten automatisiert gesammelt, ausgewertet und verifiziert.⁷² Schon aufgrund der Definition der Vollautomatisierung unternehmen Behördenmitarbeitende im vollautomatisierten Verfahren keine weiteren Abklärungen zur Sachverhaltsermittlung.⁷³ Dies birgt die Gefahr, dass nur standardisiert erhobene Daten bzw. in Datenbanken vorhandene Daten genutzt werden und einzelfallspezifische Informationen unbeachtet bleiben.⁷⁴ Die Behörden müssen jedoch auch bei einem KI-Einsatz sicherstellen, dass alle für die Sachverhaltsermittlung rechtserheblichen Tatsachen erhoben werden.⁷⁵ Vor diesem Hintergrund sind die Vollständigkeit, Aktualität und Richtigkeit der genutzten Daten von besonderer Bedeutung.⁷⁶

Auch bei einer Mitwirkungspflicht der Beteiligten besteht die Gefahr, dass einzelfallspezifische Informationen unberücksichtigt bleiben. Damit ein KI-System die Datenbestände nutzen kann, müssen die Daten in standardisierter Form erfasst werden. Im Gesuchverfahren kann dies dazu führen, dass für den Einzelfall notwendige Informationen nicht erfasst werden können, weil z.B. das standardisierte Formular kein Feld für individuelle Erklärungen enthält.⁷⁷

Dass der KI-Einsatz zu Diskriminierungen führen kann (Abschnitt 4.3.1), ist mittlerweile unbestritten. Dies zeigen auch zwei reale Beispiele aus den Niederlanden und Frankreich (Abschnitt 4.3.2).

Gemäss Art. 8 Abs. 2 BV darf niemand diskriminiert werden, namentlich nicht wegen der Herkunft, der Rasse, des Geschlechts, des Alters, der Sprache, der sozialen Stellung, der Lebensform, der religiösen, weltanschaulichen oder politischen Überzeugung oder wegen einer körperlichen, geistigen oder psychischen Behinderung. Diese Aufzählung der sensiblen Merkmale ist nicht abschliessend.⁷⁸ Das Diskriminierungsverbot stellt einen qualifizierten Schutz vor Ungleichbehandlung dar. So liegt gemäss der bundesgerichtlichen Rechtsprechung eine Diskriminierung i.S.v. Art. 8 Abs. 2 BV vor, «wenn eine Person ungleich behandelt wird allein aufgrund ihrer Zugehörigkeit zu einer bestimmten Gruppe, welche historisch oder in der gegenwärtigen sozialen Wirklichkeit tendenziell ausgegrenzt oder als minderwertig angesehen wird. (…) Die Diskriminierung stellt eine qualifizierte Art der Ungleichbehandlung von Personen in vergleichbaren Situationen dar, indem sie eine Benachteiligung eines Menschen bewirkt, die als Herabwürdigung oder Ausgrenzung einzustufen ist, weil sie an ein Unterscheidungsmerkmal anknüpft, das einen wesentlichen und nicht oder nur schwer aufgebbaren Bestandteil der Identität der betreffenden Person ausmacht»⁷⁹.

Es wird zwischen direkter (unmittelbarer) und indirekter (mittelbarer) Diskriminierung unterschieden.⁸⁰ Direkt diskriminierend sind Rechtsakte, die ohne hinreichende Rechtfertigung an ein sensibles Merkmal anknüpfen. Sie bewirken damit eine Benachteiligung, die nicht durch qualifizierte Gründe gerechtfertigt werden kann. Eine indirekte Diskriminierung liegt demgegenüber dann vor, wenn ein Rechtsakt zwar neutral formuliert ist und keine offensichtliche Benachteiligung einer bestimmten Gruppe enthält, in seiner praktischen Auswirkung jedoch eine diskriminierende Wirkung entfaltet. Beim KI-Einsatz können sowohl direkte als auch indirekte Diskriminierungen vorkommen.

Von besonderer Relevanz im Zusammenhang mit KI ist die sog. Proxy-Diskriminierung.⁸¹ Proxys (sog. Stellvertreter) sind harmlos erscheinende Merkmale, die stark mit sensiblen Merkmalen korrelieren können.⁸² KI-Algorithmen stellen häufig auf Stellvertretervariablen ab, da sie nach Korrelationen suchen und direkt diskriminierende Merkmale aus den Datensätzen gelöscht wurden.⁸³ Knüpft ein KI-System z.B. an ein vermeintlich neutrales Merkmal wie «Wohnort» an, kann dies dennoch zu einer Diskriminierung führen, wenn dieses Merkmal überproportional häufig mit dem sensiblen Merkmal «Rasse» korreliert. Dies ist z.B. der Fall, wenn in einem Stadtteil überwiegend viele Personen einer bestimmten Ethnie wohnen.⁸⁴ Das Merkmal Stadtteil wirkt diesfalls stellvertretend als Variable für die Ethnie.

Diskriminierungen können beim KI-Einsatz aus verschiedenen Diskriminierungsquellen resultieren.⁸⁵ So kann der Grundstein für spätere Diskriminierungen bereits in der Entwicklung des KI-Systems gelegt werden. KI-Systeme sind bei ihrer Entwicklung auf Trainingsdaten angewiesen. Diese Trainingsdaten wiederum prägen die Funktionsweise des Systems.⁸⁶ Sind bereits die Trainingsdaten fehlerhaft, unvollständig (z.B. wenn bestimmte Bevölkerungsgruppen unterrepräsentiert sind), veraltet oder spiegeln sie in der Gesellschaft existierende Vorurteile wider⁸⁷, können die Ergebnisse diskriminierend sein. An dieser Stelle ist zu betonen, dass der Einsatz von KI zur Entscheidungsfällung jedoch auch dazu führen kann, dass in der Gesellschaft bestehende Diskriminierungen aufgedeckt werden. Darüber hinaus sind die Trainingsdaten durch die Entwickelnden geprägt, da diese i.d.R. die Datensätze bestimmen, mit denen das KI-System trainiert, validiert oder getestet wird.⁸⁸ Neben der Entwicklung können Diskriminierungen auch aus der Anwendung des KI-Systems resultieren. Dies ist z.B. der Fall, wenn in teilautomatisierten Verfahren ein Ergebnis eines KI-Systems von Sachbearbeitenden falsch interpretiert oder dem Ergebnis fälschlicherweise übermässiges Vertrauen zugemessen wird (Stichwort: Automation Bias).⁸⁹

Um Diskriminierung beim Einsatz von KI-Systemen zu verhindern, muss sichergestellt werden, dass korrekte, vollständige und repräsentative Daten verwendet werden.⁹⁰ Allerdings lässt sich dadurch nicht jede Diskriminierung verhindern.⁹¹ Unter Umständen ist in sensiblen Bereichen zumindest auf vollautomatisierte Entscheidungen zu verzichten. Zudem ist durch geeignete Massnahmen sicherzustellen, dass die Sachbearbeitenden über die notwendigen Kenntnisse und Kompetenzen verfügen, um eine im teilautomatisierten Verfahren getroffene Entscheidung zu überprüfen und gegebenenfalls eine Entscheidung zu treffen, die von einem diskriminierenden Vorschlag abweicht.

Die folgenden zwei Beispiele zeigen, dass der Einsatz von KI-Systemen bereits zu Diskriminierungen geführt hat. Im Jahr 2021 sorgte die niederländische Steuerbehörde für medialen Aufruhr.⁹² Von 2010 bis 2019 setzte die niederländische Steuerbehörde KI-basierte Systeme ein, um Betrugsfälle bei der Auszahlung von Kinderbetreuungsbeiträgen aufzudecken. Das System knüpfte dabei an diskriminierende Anhaltspunkte wie ausländisch klingende Namen oder eine doppelte Staatsangehörigkeit an. Dadurch wurden mehr als 20’000 Familien finanziell ruiniert.⁹³

Ein weiteres Beispiel stammt aus Frankreich. Dort wird seit 2018 die online Plattform Parcoursup verwendet, um die Studienplätze zentralisiert zu verteilen.⁹⁴ Nebst einer Effizienzsteigerung im Anmeldeverfahren sollte dadurch die Chancengerechtigkeit erhöht werden, indem alle Schulabgängerinnen und -abgänger unabhängig ihrer sozialen Herkunft oder ihres Wohnorts die gleichen Chancen auf einen Studienplatz erhalten.⁹⁵ Das Auswahlverfahren von Parcoursup basiert jedoch auf einem Algorithmus, dessen Auswahlkriterien zu Beginn nicht vollständig offen gelegt wurden.⁹⁶ Bekannt ist, dass die Noten der Schülerinnen und Schüler aus den letzten Schuljahren berücksichtigt wurden. Schülerinnen und Schüler aus weniger renommierten Schulen (etwa in ländlichen Gebieten) und mit weniger Prüfungsvorbereitungskursen sahen sich dadurch mit schlechteren Chancen auf einen guten Universitätsplatz konfrontiert, da sie aufgrund fehlender Ressourcen und Unterstützung oft schlechtere Noten hatten. Durch eine solche Herangehensweise besteht die Gefahr, dass die sozialen Ungleichheiten im Bildungssystem reproduziert werden. In den Jahren 2020 und 2023 wurde der Algorithmus entsprechend angepasst.⁹⁷

Im Folgenden wird zunächst auf die allgemeinen Herausforderungen des KI-Einsatzes in Bezug auf die informationelle Selbstbestimmung und den Datenschutz eingegangen (Abschnitt 4.4.1). Anschliessend werden zwei Beispiele präsentiert, die die zuvor dargelegten Herausforderungen veranschaulichen. Dabei handelt es sich um den Einsatz von maschineller Gesichtserkennung im öffentlichen Raum (Abschnitt 4.4.2) und um den Einsatz von Risikomanagementsystemen im Steuerveranlagungsverfahren (Abschnitt 4.4.3).

Das Grundrecht auf informationelle Selbstbestimmung gemäss Art. 13 Abs. 2 BV ist weiter gefasst, als es der Wortlaut auf den ersten Blick vermuten lässt. Der verfassungsrechtliche Anspruch erstreckt sich nicht nur auf den Schutz vor Missbrauch, sondern auf jeglichen Umgang mit persönlichen Daten durch den Staat (oder Private⁹⁸). Dazu zählt z.B. die Erfassung, Bearbeitung, Bekanntgabe oder Speicherung von persönlichen Daten.⁹⁹ Das Grundrecht wird in den jeweiligen anwendbaren Datenschutzgesetzen, auf Bundesebene im DSG, konkretisiert.¹⁰⁰ Das DSG schützt die Daten natürlicher Personen, d.h. Angaben, die sich auf eine bestimmte oder bestimmbare natürliche Person beziehen.¹⁰¹ Da das Training, die Validierung oder zumindest das Testen von KI-Systemen auf (grosse) Datenmengen angewiesen ist, ergeben sich aus Art. 13 Abs. 2 BV und den datenschutzrechtlichen Konkretisierungen weitere Anforderungen, sofern sich unter den Daten auch Personendaten befinden. Datenschutzrechtliche Vorgaben sind ferner immer dann zu beachten, wenn beim konkreten Einsatz des KI-Systems Personendaten bearbeitet werden. Demnach müssen sowohl bei der Entwicklung des Systems als auch bei dessen Anwendung insbesondere die in Art. 6 DSG verankerten Grundsätze beachtet werden. Im Folgenden wird anhand zweier Beispiele veranschaulicht, dass das informationelle Selbstbestimmungsrecht und die datenschutzrechtlichen Grundsätze beim Einsatz von KI vor Herausforderungen gestellt werden.¹⁰²

Es ist längst Realität geworden, dass Staaten Technologien zur Gesichtserkennung einsetzen.¹⁰³ Manche Gesichtserkennungssysteme können in Echtzeit Daten aus Überwachungskameras auswerten, um eine bestimmte Person zu identifizieren.¹⁰⁴ Gesichtserkennungstechnologien können aber auch im Anschluss an eine Foto- oder Videoaufnahme eingesetzt werden.¹⁰⁵ Maschinelle Gesichtserkennung kann grundsätzlich als eine «automatische Verarbeitung digitaler Bilder, die Gesichter von natürlichen Personen enthalten, um bei diesen eine Identifizierung, Authentifizierung bzw. Verifizierung oder Kategorisierung durchzuführen»¹⁰⁶ definiert werden. Unabhängig von der spezifischen Gesichtserkennungs-Technologie, stellen sich rechtliche Fragen.¹⁰⁷ Von entscheidender Bedeutung ist, dass beim Einsatz von maschineller Gesichtserkennung das Gesicht der betroffenen Person vermessen wird, was bedeutet, dass biometrische und damit besonders schützenswerte Personendaten bearbeitet werden. An diese Bearbeitung werden aus grundrechtlicher und datenschutzrechtlicher Sicht besonders hohe Anforderungen gestellt.¹⁰⁸

Ausgangspunkt einer Datenbearbeitung bildet deren Rechtmässigkeit.¹⁰⁹ Für die Bearbeitung besonders schützenswerter Personendaten durch Bundesorgane ist eine formell-gesetzliche Grundlage erforderlich.¹¹⁰ Diese Rechtsgrundlage muss den konkreten Bearbeitungszweck definieren, die beteiligten Organe nennen, die Kategorien der bearbeiteten Daten bezeichnen und den Bearbeitungsumfang eingrenzen.¹¹¹ Weiter muss eine Datenbearbeitung auch verhältnismässig sein.¹¹² Dabei stellt sich insbesondere die Frage, ob die mit der maschinellen Gesichtserkennung verfolgten Ziele (z.B. der Schutz der öffentlichen Ordnung und Sicherheit) nicht auch mit anderen Mitteln erreicht werden können.

Ferner ist zu berücksichtigen, dass KI-Systeme zur Gesichtserkennung eine signifikante Menge an Trainingsdaten benötigen, um verlässliche Ergebnisse zu generieren. Dies steht u.a. im Widerspruch zu den Prinzipien der Datenvermeidung und -sparsamkeit, die als Teilaspekte des Verhältnismässigkeitsprinzips zu betrachten sind. Erwähnenswert ist in diesem Zusammenhang, dass gemäss Art. 5 Abs. 1 Bst. e AI Act KI-Systeme, «die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungskameras erstellen oder erweitern», zu den in der EU verbotenen Praktiken im KI-Bereich zählen. Der AI Act verbietet grundsätzlich auch die Verwendung sog. biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken (Art. 5 Abs. 1 Bst. h AI Act), wobei diesbezüglich verschiedene Ausnahmen, etwa für die gezielte Suche nach bestimmten Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung, vorgesehen sind.

Auch die datenschutzrechtlichen Grundsätze der Zweckbindung und Erkennbarkeit der Datenbearbeitung sind zu erwähnen.¹¹³ Der Zweck der Datenbearbeitung muss dabei genügend bestimmt dargelegt werden.¹¹⁴ Die allgemeine Gefahrenabwehr als Zweck ist bei maschineller Gesichtserkennung zu wenig bestimmt.¹¹⁵ Datenbearbeitungen müssen ferner erkennbar sein.¹¹⁶ In gewissen Situationen besteht eine erweiterte Informationspflicht. In diesen Fällen wird die Erkennbarkeit der Datenbeschaffung subsidiär.¹¹⁷ Die Information muss einfach, vollständig und der Hinweis auf die Information augenfällig sein.¹¹⁸ Allgemeine Hinweisschilder über den Einsatz von Gesichtserkennung im öffentlichen Raum reichen angesichts dieser Anforderungen nicht aus, um der Informationspflicht nachzukommen.¹¹⁹

Schliesslich postuliert das Datenschutzrecht den Grundsatz der Datenrichtigkeit,¹²⁰ der die Aktualität und Vollständigkeit der Daten umfasst.¹²¹ Da der Einsatz maschineller Gesichtserkennung eine hohe Wahrscheinlichkeit der richtigen Identifizierung oder Verifizierung der betroffenen Person fordert, sind sehr hohe Anforderungen an die Qualität der Trainings-, Validierungs- und Testdatensätze für solche KI-Systeme zu stellen.¹²²

Die fortschreitende Digitalisierung der Steuerverwaltungen geht mit einer zunehmenden Automatisierung des Steuerveranlagungsverfahrens einher.¹²³ Die vollständige Automatisierung von Steuerverfahren erfordert regelmässig den Einsatz sogenannter Risikomanagementsysteme.¹²⁴ Diese überprüfen automatisiert die durch die steuerpflichtige Person eingereichte Steuererklärung, um abschätzen zu können, ob eine steuerpflichtige Person die Steuererklärung wahrheitsgetreu ausgefüllt hat oder nicht. Die heiklen Fälle werden aussortiert und einer natürlichen Person zur Kontrolle vorgelegt.¹²⁵ Grundsätzlich ist der Einsatz von Risikomanagementsystemen auch in der Schweiz vorstellbar, da eine Vollautomation ohne entsprechende Kontrollmöglichkeiten das Risiko birgt, dass falsche Angaben in Steuererklärungen nicht erkannt werden.¹²⁶

Die (kantonalen) Steuerbehörden erheben im Steuerveranlagungsverfahren regelmässig Personendaten zur Festlegung des massgeblichen Sachverhalts. Allein aus diesem Grund ist das Datenschutzrecht relevant.¹²⁷ Zu betonen ist, dass die Kantone für die Datenbearbeitung durch kantonale Organe ihre eigenen Datenschutzgesetze haben, die allerdings mit dem Bundesrecht vergleichbar sind.¹²⁸ Bei einem Einsatz von Risikomanagementsystemen stehen insbesondere die datenschutzrechtlichen Grundsätze der Zweckbindung und der Verhältnismässigkeit vor Herausforderungen.¹²⁹ Die Steuerbehörden erheben die Daten für eine bestimmte Steuerart in einer bestimmten Steuerperiode, um die steuerpflichtigen Personen gleichmässig und verhältnismässig zu veranlagen.¹³⁰ Sie dürfen die Steuerdaten ferner nicht über die gesetzlich vorgesehene Dauer aufbewahren.¹³¹ Im automatisierten Steuerverfahren könnten hingegen Daten verschiedener steuerpflichtiger Personen genutzt werden, um die Steuererklärung einer weiteren Person auf Plausibilität zu prüfen. Darin würde eine Änderung des ursprünglichen Zwecks der Datenerhebung liegen. Der Zweck würde nicht mehr die Bearbeitung der Daten einer bestimmten steuerpflichtigen Person in einer bestimmten Steuerperiode umfassen, sondern die Bearbeitung der Daten verschiedener steuerpflichtiger Personen bzw. die Bearbeitung der Daten einer Person zur Nutzung für eine andere Person. Grundsätzlich ist eine Bearbeitung von Personendaten zu einem anderen Zweck nicht durch die gesetzliche Grundlage gedeckt, welche die ursprüngliche Erhebung rechtfertigt.¹³² Unzulässig ist auch eine Datenerhebung «auf Vorrat», um diese später in einem anderen Kontext zu verwenden.¹³³

Ferner kann der Einsatz von Risikomanagementsystemen dazu führen, dass Vorhersagen über persönlichkeitsrelevante Aspekte wie Ehrlichkeit und Zuverlässigkeit einer steuerpflichtigen Person gemacht werden.¹³⁴ Damit würde es sich um ein Profiling im Sinne des DSG handeln,¹³⁵ das zumindest auf Bundesebene, aber auch in den meisten Kantonen, eine formell-gesetzliche Grundlage voraussetzt.¹³⁶

Im Kontext des staatlichen KI-Einsatzes etablieren sich vermehrt Chatbots zur behördlichen Informationsvermittlung und Auskunftserteilung.¹³⁷ Seit der Einführung von ChatGPT im November 2022 sind insbesondere sogenannte Large Language Models (LLMs) beliebt.¹³⁸ Aus rechtlicher Sicht ist dabei zentral, wie mit fehlerhaften Chatbot-Auskünften umzugehen ist. Zu betonen ist, dass das im Zusammenhang mit menschlichen Auskünften entwickelte Konzept des Vertrauensschutzes, als Teilaspekt von Treu und Glauben nach Art. 9 BV,¹³⁹ auch beim Einsatz von Chatbots Anwendung findet.¹⁴⁰ Demnach müssen Private¹⁴¹ unter bestimmten Voraussetzungen in ihrem Vertrauen in behördliche Auskünfte geschützt werden.¹⁴²

Zu hinterfragen ist der Einsatz von KI-Chatbots¹⁴³ zur behördlichen Auskunft deshalb, weil die Auskünfte aufgrund der technischen Natur der Chatbots fehlerhaft sein können.¹⁴⁴ Dies trifft im besonderen Masse auf Chatbots zu, die LLMs nutzen.¹⁴⁵ In diesem Kontext wird insbesondere von Halluzinationen gesprochen.¹⁴⁶ Aktuell werden Methoden entwickelt, um die Fehlerhaftigkeit solcher Modelle zu verringern. Eine solche Methode ist die Retrieval Augmented Generation (RAG).¹⁴⁷ Dabei wird eine Anfrage an einen Chatbot zunächst sprachlich analysiert und die relevanten Antwortphrasen werden mittels semantischer Suche auf einem lokalen Textkorpus bestimmt. Das LLM beantwortet die Anfrage daraufhin basierend auf den ihm zur Verfügung gestellten Textsegmenten sowie auf Basis der ursprünglichen Eingabe. Es wird insbesondere dazu verwendet, die Anfrage sprachlich zu gestalten und die Antwort zu strukturieren.¹⁴⁸ Bislang ist allerdings unklar, ob die Fehlerhaftigkeit der Chatbot-Antworten durch RAG nur verringert oder gar gänzlich ausgeschlossen werden kann.¹⁴⁹

Da Chatbots als ebenbürtige Alternative zu menschlichen Auskünften eingesetzt werden sollen, können sich Behörden auch nicht durch den Einsatz von allgemeinen Vorbehalten (sog. Disclaimer) des Vertrauensschutzes entziehen.¹⁵⁰ Vielmehr gilt es zu hinterfragen, ob tatsächlich alle Chatbot-Systeme zur behördlichen Auskunfterteilung geeignet sind.¹⁵¹

In Bezug auf den behördlichen Einsatz von KI wird häufig die Forderung nach Transparenz geäussert. Damit soll die Rechtmässigkeit des KI-Einsatzes sichergestellt werden.¹⁵² Dabei ist zwischen zwei Dimensionen zu unterscheiden. Einerseits ist die Herstellung von individueller Transparenz beim Einsatz von KI-Systemen zu gewährleisten. Diese Forderung lässt sich zunächst auf die datenschutzrechtlichen Grundsätze und Informationspflichten stützen.¹⁵³ Sodann präsentiert sie sich auch als wichtiger Aspekt der verfassungsrechtlich gewährleisteten Begründungspflicht von Verfügungen.¹⁵⁴

Andererseits ist für die Schaffung von Transparenz im Kontext des staatlichen KI-Einsatzes die Etablierung allgemeiner gesellschaftlicher Kontrollmöglichkeiten erforderlich. In der Literatur¹⁵⁵, in der Politik¹⁵⁶ sowie seitens zivilgesellschaftlicher Organisationen¹⁵⁷ wird deshalb die Schaffung eines öffentlichen Verzeichnisses (auch: KI-Register) gefordert. Im Kanton Zürich liegt ein Gesetzesentwurf für die Pflicht zur Führung eines entsprechenden öffentlichen Verzeichnisses vor.¹⁵⁸ In einem solchen KI-Verzeichnis sollen die in der öffentlichen Verwaltung eingesetzten KI-Systeme aufgeführt werden. Des Weiteren soll dargelegt werden, in welchen Bereichen der öffentlichen Verwaltung KI-Systeme zum Einsatz kommen, welche Behörde dafür verantwortlich ist, welche Art von Daten bearbeitet wird, welche Metadaten verwendet werden, welche Aufsichtsstelle involviert ist und welche Ergebnisse eine etwaige Folgenabschätzung für die Grundrechte der betroffenen Personen hervorgebracht hat.¹⁵⁹

Obgleich das CNAI für die Bundesverwaltung bereits über 60 Projekte in einer öffentlich zugänglichen «Datenbank» führt,¹⁶⁰ ist davon auszugehen, dass diese nicht vollständig ist. Dies liegt daran, dass das Verzeichnis für die Bundesstellen nicht verpflichtend ist. Ausserdem sind die darin enthaltenen Angaben von unterschiedlicher Ausführlichkeit und Detailtiefe.

In Anbetracht der fortschreitenden Entwicklungen hat der Bundesrat im Jahr 2018 KI als ein zentrales Thema der Strategie «Digitale Schweiz» definiert und eine interdepartementale Arbeitsgruppe (IDAG) ins Leben gerufen.¹⁶¹ In einem Bericht vom Dezember 2019 präsentierte die Arbeitsgruppe eine Auslegeordnung der relevanten Rahmenbedingungen im Hinblick auf die zunehmende Nutzung von KI. Diese beleuchtete die spezifischen Herausforderungen in verschiedenen Anwendungsfeldern über Politikbereiche der gesamten Bundesverwaltung hinweg und diskutierte möglichen Anpassungsbedarf auf Bundesebene.¹⁶² Die IDAG gelangte zum Schluss, dass die Schweiz insgesamt gut aufgestellt sei, um die Herausforderungen der KI zu bewältigen. Der allgemeine Rechtsrahmen sei zum damaligen Zeitpunkt grundsätzlich geeignet und ausreichend, um mit neuartigen Herausforderungen der KI umzugehen.¹⁶³ Im Jahr 2020 wurden sodann sieben Leitlinien zum Umgang mit KI in der Bundesverwaltung präsentiert. Diese dienen der Gewährleistung der Kohärenz der KI-relevanten Politik über die zahlreichen Arbeitsbereiche hinweg.¹⁶⁴ Seither bieten diese Leitlinien der Bundesverwaltung und den verschiedenen Trägerinnen und Trägern von Verwaltungsaufgaben des Bundes einen allgemeinen Orientierungsrahmen.¹⁶⁵

Im November 2023 hat der Bundesrat bekannt gegeben, bis Ende 2024 in einer Auslegeordnung mögliche Ansätze zur Regulierung von KI für die Schweiz aufzuzeigen.¹⁶⁶ Mit der Analyse will der Bundesrat die Basis schaffen, um 2025 einen konkreten Auftrag für eine KI-Regulierungsvorlage erteilen und die Zuständigkeiten regeln zu können. Die Analyse wird auf bestehendem Schweizer Recht aufbauen und mögliche Regulierungsansätze für die Schweiz aufzeigen, die mit dem AI Act der EU und der KI-Konvention des Europarats kompatibel sind. Der Bundesrat hält fest, dass beide internationalen Regelwerke für die Schweiz von Relevanz sind.¹⁶⁷

Kantonale und öffentliche Verwaltungen setzen KI bereits an verschiedenen Stellen ein. Der Einsatz von KI in der öffentlichen Verwaltung ist zwar mit verschiedenen Chancen verbunden. Der vorliegende Beitrag zeigt jedoch, dass aus rechtlicher Sicht die Risiken solcher Technologien für den Einzelnen und die Gesellschaft als Ganzes von zentraler Bedeutung sind. Es ist daher zu begrüssen, dass der Bundesrat bis Ende 2024 in einer Auslegeordnung mögliche Ansätze für die Schaffung von Rechtsgrundlagen zur Nutzung von KI in der Schweiz aufzeigen wird. Mit Blick auf den staatlichen KI-Einsatz sind Rechtsgrundlagen notwendig, um sicherzustellen, dass dieser rechtmässig, transparent und verantwortungsvoll erfolgt. Darüber hinaus müssen insbesondere die Verhinderung von Diskriminierung, die Beachtung der Verfahrensgrundrechte und die Wahrung des Datenschutzes sichergestellt werden. Mit der Schaffung der entsprechenden Grundlagen sollte nach Vorlage der Auslegeordnung zügig begonnen werden.

Prof. Dr. Nadja Braun Binder, MBA, ist Professorin für öffentliches Recht an der Universität Basel und Co-Leiterin der Forschungsstelle für Digitalisierung in Staat und Verwaltung (e-PIAF), nadja.braunbinder@unibas.ch.

Nina Laukenmann, MLaw LL.M., ist wissenschaftliche Assistentin und Doktorandin an der Juristischen Fakultät der Universität Basel, nina.laukenmann@unibas.ch.

Liliane Obrecht, MLaw, ist wissenschaftliche Mitarbeiterin und Doktorandin an der Juristischen Fakultät der Universität Basel, liliane.obrecht@unibas.ch.