Jusletter IT

KI – ich bin jung und muss noch lernen?

Rechtliche und ethische Themen der Beschaffung und des Einsatzes von Künstlicher Intelligenz (KI) im öffentlichen Sektor

  • Author: Sven Kohlmeier
  • Category of articles: Public procurement law
  • Field of law: Public procurement law
  • Collection: IT-Beschaffungskonferenz der Berner Fachhochschule BFH und der Universität Bern
  • DOI: 10.38023/452034d0-3273-4207-912c-184db12d92b9
  • Citation: Sven Kohlmeier, KI – ich bin jung und muss noch lernen?, in: Jusletter IT 20. August 2024
Ziel des Beitrages ist es, eine rechtliche Einordnung für die (öffentliche) Beschaffung und den Einsatz von KI-Systemen zu geben. KI-System können derzeit als unterstützende Hilfssysteme rechtmässig eingesetzt werden, bei fortschreitender Automatisierung stellt sich jedoch die Frage nach einer spezifischen Rechtsgrundlage. Der Beitrag beleuchtet verschiedene rechtliche Aspekte im Zusammenhang mit dem Einsatz von KI-Systemen. So wird das Spannungsverhältnis zu den datenschutzrechtlichen Grundsätzen, aber auch urheberrechtlichen Fragen und einer bundesgerichtlichen Entscheidung zu Substitution von Aufgaben aufgezeigt. Da sich der Beschaffungsvorgang aus dem beabsichtigten Einsatz des KI-Systems ergibt, wird ein Vorschlag unterbreitet, welche Anforderungen an die Ausschreibung von KI-Systemen bestehen sollten.

Inhaltsverzeichnis

  • 1. Einführung
  • 2. Beschaffungsrecht im Allgemeinen
  • 2.1. Grundlagen staatlichen Handelns: Darf die öffentliche Verwaltung überhaupt KI beschaffen?
  • 2.2. Rechtsgrundlagen öffentlicher Beschaffungen
  • 3. KI-Beschaffung für eine Anwendung durch den Staat im Spezifischen
  • 3.1. Datenschutzrechtliche Überlegungen im Rahmen der Beschaffung von KI-Anwendungen für (unterstützende) Verwaltungsarbeit
  • 3.2. Wahrung der Datenschutzrechte bei der Nutzung von KI
  • 3.3. Datengerüst der jeweiligen KI-Anwendung
  • 3.4. Verwaltungsarbeit durch KI: Unterstützend oder beschliessend?
  • 3.5. Urheberrechte bei der Nutzung von KI
  • 3.6. KI-Anwendungen als Substituten in der Vertragserfüllung
  • 4. Was gilt es zu beachten bei der Beschaffung von KI-Anwendungen für die öffentliche Hand?
  • Literaturverzeichnis

1.

Einführung ^

[1]

Ganz neu ist der Einsatz von KI-Tools in der Verwaltung nicht. So nutzt etwas das Handelsregister St. Gallen einen Chatbot auf seiner Webseite und auch das Migrationsamt des Kanton Zürich setzt auf einen digitalen Chatbot. Beides sind mögliche Einsatzgebiete von KI-Tools. Durch die öffentliche Berichterstattung über ChatGPT (von OpenAI) und sein Pendent Bard (von Google) scheinen die Möglichkeiten der Vereinfachung in vielen Bereichen der Verwaltung aber ein neues Level erreicht zu haben: Die Auswertung und Analyse grosser Datenmengen, die Auswertung von Gerichtsentscheiden, die KI-automatisierte Prüfung von Anträgen, Entscheiden und Stellungnahmen und die Anfertigung von Entscheiden. Auch im Cyber-Sicherheitsbereich sowie in der strafrechtlichen Ermittlungstätigkeit können KI-Tools eine wertvolle Unterstützung sein. So kann die Sichtung von strafrechtlich inkriminiertem Material im Internet von einem KI-Tool übernommen werden, anstatt sich Mitarbeitende der Untersuchungsbehörden dies anschauen müssen.

[2]

Die Vorteile von KI-Anwendungen liegen klar auf der Hand: Bessere Entscheidungsfindung, Zeit- und Kostenersparnis sowie eine erhöhte Effizienz der Verwaltungstätigkeit. Auf der anderen Seite stellen KI-Anwendungen auch eine Herausforderung für die Verwaltung dar: Bei vertraulichen oder personenbezogenen Daten können Risiken bei dem Einsatz von KI bestehen und auch das Vertrauen in staatliche Institutionen könnte leiden, wenn anstelle einer Amtsperson ein emotionsloses KI-Tool entscheidet.

[3]

Ein transparentes, aber flexibles Regelwerk, welches die Interessen der Bevölkerung schützt, aber keine unüberwindbare Hürde für Innovation darstellt, ist also wünschenswert. Wie dieses Regelwerk aktuell aussieht, bzw. insbesondere nach welchen rechtlichen Grundlagen sich der öffentliche Sektor bei der Beschaffung von KI zu richten hat, wird im Folgenden aufgezeigt.

2.

Beschaffungsrecht im Allgemeinen ^

2.1.

Grundlagen staatlichen Handelns: Darf die öffentliche Verwaltung überhaupt KI beschaffen? ^

[4]

Sämtliches staatliches Verwaltungshandeln muss auf einer hinreichenden gesetzlichen Grundlage beruhen (Art. 5 Abs. 1 BV). Dies gilt auch für die Bedarfsverwaltung (auch administrative Hilfstätigkeit genannt), also jedes Tätigwerden des Gemeinwesens, durch welches die zur Erfüllung der öffentlichen Aufgaben notwendigen Sachgüter und Leistungen beschafft werden. Dies erfolgt in der Regel durch den Abschluss von privatrechtlichen Verträgen. Die Bedarfsverwaltung dient mittelbar der Erledigung von Verwaltungsaufgaben und entfaltet grundsätzlich keine Wirkung nach aussen. Die gesetzlichen Grundlagen ergeben sich aus den Normen, welche die eigentlichen Verwaltungsaufgaben regeln, zu deren Erfüllung die Bedarfsverwaltung dient (Poledna et al., 2017).

[5]

Soll im Rahmen der Bedarfsverwaltung ein KI-System beschaffen werden, so wird die Frage, ob die Verwaltung überhaupt KI-Anwendungen beschaffen darf, durch die Sachgesetze, welche die Verwaltungsaufgabe an sich regeln, beantwortet (Tschentscher et al., 2019).

[6]

Grundsätzlich darf die Verwaltung auch KI-Anwendungen beschaffen und einsetzen, soweit die beschaffungsrechtlichen Vorgaben (Ziff. 2.2.) erfüllt sind und die weiteren hier dargestellten spezifischen Voraussetzungen erfüllt sind (Ziff. 3).

2.2.

Rechtsgrundlagen öffentlicher Beschaffungen ^

[7]

Das Verfahren der Beschaffung von Sachmitteln, beispielsweise für den Erwerb von IT-Software, ist durch das öffentliche Beschaffungsrecht geregelt (Waldmann et al., 2019). Bei der Beschaffung von KI-Anwendungen gelten dieselben nationalen wie auch kantonalen beschaffungsrechtlichen Vorgaben, wie dies auch bei der Beschaffung jeder anderen ICT-Leistung gilt.

[8]

In Abhängigkeit der konkreten Arbeits- und Funktionsweise kann die Beschaffung von KI-Anwendungen sowohl eine beschaffungsrechtliche Lieferung, Dienstleistung oder aber eine Mischung aus Lieferung und Dienstleistung darstellen. Dabei sind die entsprechenden Schwellenwerte zu beachten, insbesondere hinsichtlich der Berechnung bei Dienstleistungsverträgen mit bestimmter oder unbestimmter Laufzeit.

[9]

Das öffentliche Beschaffungsrecht enthält Vorschriften, wie der Staat solche Leistungen am Markt einkaufen darf. Das Vergabeverfahren soll gemäss Art. 2 BöB/IVöB die transparente, nachvollziehbare und willkürfreie, objektiv begründbare Vergabe des öffentlichen Auftrags an einen (privaten) Leistungserbringer unter mehreren interessierten Anbietern gewährleisten. Dass dies mit einigen Herausforderungen bei der Beschaffung von KI-Systemen verbunden ist, wird nachfolgend dargestellt.

3.

KI-Beschaffung für eine Anwendung durch den Staat im Spezifischen ^

[10]

Im engen Sinn wird die Beschaffung von KI-Anwendungen durch den Staat durch das öffentliche Beschaffungsrecht geregelt. Doch auch weitere Rechtsgebiete haben einen Einfluss auf die Beschaffung und die Anwendung von KI durch die öffentliche Hand. Der Staat ist in der Auslagerung von Tätigkeiten (bzw. im Beizug von unterstützenden Mitteln) weniger frei als ein privatwirtschaftlich handelndes Unternehmen (Sury, 2021). So ist der Staat insbesondere an die Grundrechte gebunden, und muss sein Handeln auf gesetzliche Grundlagen stützen können. Dies spielt auch dann eine Rolle, wenn der Staat im Rahmen seiner Verwaltungstätigkeit Daten im weitesten Sinne bearbeitet.

3.1.

Datenschutzrechtliche Überlegungen im Rahmen der Beschaffung von KI-Anwendungen für (unterstützende) Verwaltungsarbeit ^

[11]

Für die Bearbeitung von Personendaten durch Bundesorgane gilt das eidgenössische Datenschutzgesetz (DSG). Für kantonale sowie kommunale Behörden kommen die jeweiligen kantonalen Datenschutzgesetze zur Anwendung. Für den Kanton Zürich ist dies das Gesetz über die Information und den Datenschutz (IDG) (Volz, 2022).

[12]

Die Grundsätze der Datenbearbeitung – die Gesetzmässigkeit, die Zweckbindung und die Verhältnismässigkeit – gelten dann, wenn durch den Staat, beispielsweise auch durch Nutzung von künstlich intelligenten Systemen, Personendaten bearbeitet werden. Hinsichtlich der Gesetzmässigkeit gelten auch im Hinblick auf den Einsatz von KI-Anwendungen die üblichen Gültigkeitsvoraussetzungen der genügenden Normstufe und Normdichte. Sofern es sich beim Einsatz von KI um eine blosse Unterstützung der eigentlichen Verwaltungsleistung handelt, stützt sich diese i.d.R. auf die gesetzliche Grundlage der Haupttätigkeit. Teilweise wird die Auffassung vertreten, dass eine separate gesetzliche Befugnis für den Einsatz von KI-Systemen zur Bearbeitung von Personendaten dann erforderlich ist, wenn der Einsatz von KI als zusätzlicher Eingriff in die Rechte der Betroffenen, bzw. als eine Bearbeitung von besonderen Personendaten zu werten ist (Glass, 2023).

[13]

Vor dem Hintergrund der demokratischen Legitimation öffentlichen Handels, und insbesondere bei Verfahren, welche in einem Entscheid münden, stellt sich die Frage, ob auch für den unterstützenden Einsatz von KI eine zumindest materiell-gesetzliche Grundlage benötigt wird, wenn die Unterstützung der KI so weit geht, dass sie einen schriftlichen Entwurf vorbereitet, der vom Menschen lediglich geprüft werden muss. Die Hürde, Abänderungen vorzunehmen, ist wohl grösser bei Vorliegen von bereits verschriftlichten Outputs und der Mangel an Zeit und personellen Ressourcen macht es wahrscheinlich, dass eine gleichwertige intensive Prüfung wie bei einem Verzicht auf die Unterstützung von KI unterbleiben würde (Reiter, 2022).

[14]

Wann der Einsatz von KI faktisch zu einem Entscheid ohne menschliche Einwirkung führt und wie viel menschliches Einwirken benötigt ist um eine Entscheidung als «vom Mensch getroffen» zu qualifizieren, hat nicht nur Auswirkung auf das Verwaltungsverfahren, sondern auch auf die Gesetzmässigkeit der Verwaltung.

[15]

Sofern KI-Systeme nur als ein weiteres Hilfsmittel wie z.B. das Internet, Laptop, Druckerpapier zur Erfüllung der gesetzlichen Aufgabe angesehen werden, bedarf es keiner spezifischen Rechtsgrundlage. Werden KI-Systeme aber als selbständig automatisierte Entscheidungs- und Datenverarbeitungssysteme tätig und der menschliche Einsatz beschränkt sich nur noch darauf, das System zu starten oder zu warten, bedarf es nach meiner Auffassung einer ausdrücklichen fachspezifischen Rechtsgrundlage. Denn bisher dürfte der Gesetzgeber eher von einer menschlich intendierten Datenverarbeitung ausgegangen sein und nicht von einer weitgehend oder vollständig autonomen Datenverarbeitung.

[16]

Für das Datenschutzgesetz hat sich der Gesetzgeber die Präzisierung in der Datenschutzverordnung vorbehalten, wann von einer automatisierten Bearbeitung im Sinne von Art. 21 Abs. 1 DSG auszugehen ist. «Der Bundesrat wird in der Verordnung falls erforderlich präzisieren, wann eine Entscheidung vorliegt, die ausschliesslich auf einer automatisierten Bearbeitung beruht. Dies ist der Fall, wenn keine inhaltliche Bewertung und darauf gestützte Entscheidung durch eine natürliche Person stattgefunden hat. […] Eine automatisierte Einzelentscheidung kann selbst dann vorliegen, wenn sie anschliessend durch eine natürliche Person mitgeteilt wird, falls diese die automatisch gefällte Entscheidung nicht mehr beeinflussen kann. Massgebend ist somit, inwieweit eine natürliche Person eine inhaltliche Prüfung vornehmen und darauf aufbauend die endgültige Entscheidung fällen kann.» (Botschaft, 7056 f.). Eine Auslegungsregelung findet sich in der DSV indes nicht, jedoch hat der EDÖB in einer Pressemeldung vom 9. November 2023 klargestellt, dass das geltende Datenschutzgesetz für KI-Anwendungen direkt anwendbar sei und das gesetzliche Recht auf Transparenz eng verbunden mit dem Anspruch der betroffenen Person sei, dass automatisierte Einzelfallentscheidungen von einem Menschen überprüft werden. (EDÖB, 2023).

[17]

Gestützt auf die bestehenden Rechtsgrundlagen können die derzeit auf dem Markt befindlichen KI-Systeme genutzt werden, da diese letztlich nur ein weiterer technischer Fortschritt der Digitalisierung sind und das DSG technologieoffen ist. Abhängig vom technischen Fortschritt und der zukünftigen Automatisierung solcher Systeme wird der Gesetzgeber gefordert sein, spezifische und angepasste Präzisierungen in der DSV vorzunehmen, um dem Grundsatz der Gesetzmässigkeit zu genügen.

[18]

Unabhängig von der Fragestellung einer ausreichenden Rechtsgrundlage, wird bei der Beschaffung von KI-Systemen zu berücksichtigen sein, welche datenschutzrechtliche Eingriffstiefe mit der Nutzung verbunden ist. Die – andauernde – Diskussion zum Einsatz von Cloud-Services zeigt, welche Herausforderungen gelten, insbesondere weil eine Datenübertragung in die U.S.A. erfolgen kann. Ebenso wie auch im Bereich von Cloud-Diensten und Anwendungssoftware handelt es sich bei den derzeitigen Anbietern von KI-Systemen hauptsächlich um amerikanische Unternehmen.

[19]

Bei der Beschaffung von Cloud-Diensten wird teilweise der risikobasierte Ansatz vertreten, um die mit der Beschaffung von Cloud-Diensten und Auslagerung an einen U.S.-amerikanischen Konzern verbundenen Risiken der Personendaten durch den möglichen Zugriff von US-amerikanischen Behörden zu rechtfertigen. Begründet wird der risikobasierte Ansatz damit, dass dieser (i) differenzierter und ganzheitlicher als die Anleitung des EDÖB sei, (ii) dem schweizerischen Datenschutzrecht immanent sei, (iii) Schrems II den risikobasierten Ansatz zulässt und die Schweiz bei Aufgabe des risikobasierten Ansatzes internationale Datentransfers in Staaten wie die USA generell untersagen müsste (Vasella, 2022). Der EDÖB hat sich bisher nicht ausdrücklich dem risikobasierten Ansatz angeschlossen. Dieser ist ohnedies nur der «Hilfsanker», soweit es an einem angemessenen Datenschutzniveau in den USA fehlt, welches die EU-Kommission erst kürzlich durch seinen Angemessenheitsbeschluss (erneut) festgestellt hat. Die Schweiz hat – Stand Juli 2024 – bisher kein angemessenes Datenschutzniveau festgestellt, so dass der risikobasierte Ansatz ein Weg ist, um einen Datentransfer in die USA vorzunehmen.

[20]

Fraglich ist, ob der risikobasierte Ansatz auch bei der Beschaffung von KI-Systemen ein möglicher Ausweg ist, sofern kein Angemessenheitsbeschluss vorliegt. In beiden Fällen besteht die Gefahr des Zugriffs amerikanischer Behörden ohne ausreichende Rechtsschutzmöglichkeit für den Betroffenen, was dafürspricht, den risikobasierten Ansatz auch bei der Beschaffung von KI-Systemen anzuwenden. Dagegen spricht aber, dass bei einem KI-System der datenschutzrechtlich relevante Eingriff erheblich schwerwiegender sein dürfte. Es werden gerade nicht nur Daten gespeichert (und potentiell dem Zugriff von US-amerikanischen Behörden ausgesetzt), sondern die Funktionsweise der KI-Systeme lebt üblicherweise davon, aus den Input-Daten das System zu trainieren. Personendaten werden daher fortlaufend verarbeitet, im Übrigen ohne offenzulegen, in welchem Umfang die Datenverarbeitung erfolgt, wer letztlich Zugriff auf die Trainingsdaten hat und wie diese Daten für andere Produkte weiterverarbeitet werden.

[21]

Der derzeitige risikobasierte Ansatz für den Einsatz von Cloud-Diensten lässt sich daher nur eingeschränkt für die Beschaffung von KI-Anwendungen übertragen und bedarf, wenn man diesem Ansatz folgen will, einer neuen Bewertung des Risikos für die verarbeiteten Personendaten.

[22]

Zur Bearbeitung von Personendaten durch öffentliche Organe ist zudem der Grundsatz der Zweckbindung zu berücksichtigen. Öffentliche Organe dürfen sich nicht ohne Weiteres für Private interessieren, sondern nur in Zusammenhang mit der Erfüllung einer ihnen zugewiesenen gesetzlichen Aufgabe (Glass, 2023). Dies spielt insbesondere auch bei der Datenerhebung eine Rolle. So wird im Kanton Zürich durch das kantonale Datenschutzgesetz die Zweckbindung dahingehend definiert, dass die öffentlichen Organe Personendaten nur zu dem Zweck bearbeiten dürfen, zu dem sie erhoben wurden (Art. 9 Abs. 1 IDG ZH).

[23]

Die Zweckbindung steht aber in Frage, wenn die Personendaten nicht nur ausschliesslich zur Erstellung eines verwaltungsrechtlichen Entscheides mittels KI-System genutzt werden, sondern zugleich, um die KI selbst zu trainieren und fortzuentwickeln. Dabei spielt es keine Rolle, ob die KI mittels Dienstleistungsvertrag von einem Anbieter bezogen wird, oder aber autonom in der Verwaltung nach Lieferung eines Softwareprodukts eingesetzt wird. Der Betroffene hat seine Daten lediglich für den Zweck der Bearbeitung seines Anliegens, nicht aber für Trainingszwecke einer KI zur Verfügung gestellt. Aus Sicht der Verwaltung ist der Zweck jedoch sowohl die Bearbeitung des Bürgeranliegens wie auch Trainingszwecke der KI. Nach Art. 6 Abs. 3 DSG dürfen die Personendaten nur zu einem bestimmten und für die Person erkennbaren Zweck beschafft werden. Der Zweck ist dann erkennbar, wenn die betroffene Person informiert wird, die Bearbeitung gesetzlich vorgesehen ist oder aus den Umständen klar ersichtlich ist. Die Erkennbarkeit der Datenbearbeitung zum Zwecke z.B. der Bewilligung von Sozialhilfe ergibt sich aus der jeweiligen Rechtsgrundlage im Fachgesetz. Im Fachgesetz fehlt jedoch eine Rechtsgrundlage für den Zweck des Trainings eines KI-Modells, und auch eine Information erfolgt in der Regel nicht.

[24]

Die grosszügige Auslegung des Zweckbindungsgrundsatzes von Rosenthal (Rosenthal, 2023), demnach vom ursprünglichen Primärzweck ein späterer weiterer Zweck (wie etwas das Training einer generativen KI) umfasst sei, dürfte zu weitgehend sein. In der Botschaft zum DSG (Botschaft, S. 7025) ist festgehalten: «Sowohl die Beschaffung der Daten als auch der Zweck ihrer Bearbeitung müssen erkennbar sein.» Dass der Bürger bei der Beschaffung von Daten durch die Verwaltung erkennt, dass die Verwaltung die Daten auch zum Sekundär- oder Kollateralzweck des Trainings einer generativen KI verwendet, verlangt nahezu hellseherische Fähigkeiten des Bürgers und widerspricht dem gesetzgeberischen Anliegen einer Zweckbindung. Zuzustimmen ist Rosenthal insoweit, dass die Zweckbindung erfüllt ist, wenn die Daten in einer Weise bearbeitet werden, die mit dem ursprünglichen Zweck «vereinbar» sind.

[25]

Auflösen lässt sich das mit einer gesetzlichen Grundlage im entsprechenden Fachgesetz (Art. 34 Abs. 1 DSG) oder einer datenschutzrechtlichen Information und Einwilligung des Betroffenen (Art. 34 Abs. 4 lit. b DSG). Auch die kantonalen Datenschutzgesetze stellen, wenn auch mit anderem Wortlaut, auf den Grundsatz der Zweckbindung ab (z.B.: Art. 4 Abs. 4 KDSG-LU (2021), Art. 5 Abs. 4 KDSG-BE (2013): «Treu und Glauben mit dem Zweck unvereinbar»; Art. 26 revIDG-ZH: ein anderer «Zweck ist zulässig, wenn es eine Rechtsgrundlage erlaubt oder die betroffene Person im Einzelfall eingewilligt hat»)

[26]

Zusammenfassend kann festgestellt werden, dass die Beschaffung von derzeitig verfügbaren KI-Systemen datenschutzrechtlich möglich und zulässig ist. Eine Herausforderung besteht darin, den Grundsatz der Zweckbindung und Erkennbarkeit der Datenverarbeitung einzuhalten. Eine weitere Herausforderung stellt dar, dass die technische Funktionsweise von KI-Systemen derzeit kaum bekannt ist oder den Geschäftsgeheimnissen der Anbieter unterliegen. Welche tatsächlichen Risiken für die Bearbeitung von Personendaten mit dem Einsatz von KI-Systemen einhergehen, lässt sich daher – anders als bei dem Einsatz von Cloud-Diensten, deren Funktionsweise und Risiken weitgehend bekannt sind – seriös kaum sagen. Bisherige Überlegungen, auf einen risikobasierten Ansatz abzustellen, lassen sich daher nicht ohne weiteres auf den Einsatz von KI-Systemen übertragen, da sich die Risiken für die betroffene Person derzeit nicht bewerten lassen, solange weder Algorithmus noch Wirkungsweise vom Anbieter veröffentlicht werden oder nachvollziehbar bekannt sind.

3.2.

Wahrung der Datenschutzrechte bei der Nutzung von KI ^

[27]

Das verfassungsmässig geschützte Recht auf Privatsphäre (Art. 13 BV) ist im Zusammenhang mit dem Einsatz von KI-Anwendungen regelmässig betroffen, da solche Anwendungen eine Bearbeitung von Personendaten voraussetzen. Konkretisiert wird dieser Schutz durch das Datenschutzgesetz (DSG). Die Anwendbarkeit des DSG bei der Bearbeitung von Personendaten durch Bundesbehörden ergibt sich aus Art. 2 Abs. 1 lit. b DSG.

[28]

Datenschutzrechtlich bestehen seitens der Betroffenen gegenüber Datenbearbeitern nicht nur Informationsrechte über die Bearbeitung bzw. Einsichtsrechte in den Bestand über eigene Daten, sondern auch Rechte zur Beseitigung von Verletzungen. Die Informationspflicht im Hinblick auf die Bearbeitung von Personendaten mittels künstlicher Intelligenz unterscheidet sich kaum von der üblichen Erhebung von Personendaten. In beiden Fällen muss über die Datenerhebung vorgängig informiert werden, Art. 19 DSG.

[29]

Problematisch ist eher der Zugang zu, bzw. der Umfang der Einsicht in die vorhandenen Personendaten. So führt Glass aus: «In Bezug auf KI-Systeme dürfte das Zugangsrecht insbesondere gegenüber Outputdaten wirksam werden, da diese in der Regel als Ergebnis einer Datenbearbeitung gespeichert und weiterbearbeitet werden. Inputdaten werden hingegen nicht notwendigerweise gespeichert, zumindest nicht durch das Organ, welches den Input veranlasst. Nutzt eine Mitarbeiterin eines öffentlichen Organs beispielsweise eine Such- oder Übersetzungsmaschine, werden die Suchbegriffe in der Regel nicht durch das öffentliche Organ gespeichert. Unter Umständen besteht aber dennoch eine aus der Begründungs- und Dokumentationspflicht fliessende Pflicht die Inputdaten zu speichern oder eine entsprechende Aktennotiz zu erstellen. Dies erscheint denkbar, wenn die KI-Funktion einen Output generieren soll, der als Begründung für eine rechtlich relevante Entscheidung dient, und dessen Erklärungszusammenhang sich allein aus der KI-Funktion ergibt.» (Glass, 2023).

[30]

Das datenschutzrechtliche Auskunftsrecht erfasst alle Informationen, die erforderlich sind, damit die betroffene Person ihre Rechte nach dem Datenschutzgesetz geltend machen kann (Art. 25 Abs. 2 Satz 1 DSG). Die Aufzählung in Art. 25 Abs. 2 Satz 2 lit. a–g DSG ist nach dem Willen des Gesetzgebers nicht abschliessend. Die Generalklausel in Satz 1 erlaubt, dass die betroffene Person gegebenenfalls weitere Informationen verlangen kann, um ihre Rechte geltend zu machen, muss aber bei grossen Datenmengen gegebenenfalls präzisieren, auf welche Informationen und Bearbeitungsvorgänge sich das Auskunftsersuchen bezieht (Botschaft, S. 7076). Die vom Gesetzgeber für die automatisierte Einzelfallentscheidung angenommenen Auskunftstiefe dürfte auch für KI-Systeme entsprechend anwendbar sein. «Dabei müssen nicht unbedingt die Algorithmen mitgeteilt werden, die Grundlage der Entscheidung sind, weil es sich dabei regelmässig um Geschäftsgeheimnisse handelt. Vielmehr müssen die Grundannahmen der Algorithmus-Logik genannt werden, auf der die automatisierte Einzelentscheidung beruht», so der Bundesrat in der Botschaft zum DSG (Botschaft, S. 7067). Wenn der Gesetzgeber bereits für das Kredit-Scoring verlangt, dass über die Menge und die Art der für das Scoring herangezogenen Informationen sowie deren Gewichtung informiert wird, dürfte für den Einsatz von KI-Systemen nichts anderes gelten. Demnach wäre über den Einsatz eines KI-Systems Auskunft zu erteilen, wie auch über die Grundannahmen der Algorithmus-Logik. Da letztere dem Geschäftsgeheimnis der Anbieter unterliegen, ist Glass insoweit zuzustimmen, dass sich aus der Dokumentations- und Begründungspflicht die Pflicht ergibt, Auskunft zu erteilen, welche (Personen-)Daten als Inputdaten verwendet wurden. Dies gewährleistet dem Betroffenen die Überprüfung, ob seine Personendaten datenschutzkonform eingesetzt werden. Es ist auch nicht unpraktikabel, da die Verwaltung die Vorgänge vielfach digitalisiert abarbeitet und entsprechend dokumentieren kann.

[31]

Bei Such- oder Übersetzungsmaschinen, auch mit der Möglichkeit des Uploads ganzer Dokumente, entsteht ein weiteres Problemfeld: Während die Eingaben oftmals durch die eingebende Person nicht explizit gespeichert werden, erfolgt dies möglicherweise durch den benutzten Service1. Dies stellt ebenfalls eine Datenbearbeitung dar, die nach Art. 34 DSG einer Rechtsgrundlage bedarf. Sofern die öffentliche Verwaltung solche Dienste nutzt, bedarf es für Bundesbehörden eines Gesetzes im formellen Sinne wenn es sich um besonders schützenswerte Personendaten handelt oder die Datenverarbeitung zu einem schwerwiegenden Eingriff in die Grundrechte der betroffenen Person führen kann (Art. 34 Abs. 2 DSG). Bei der Beschaffung solcher Dienste muss darauf geachtet werden, dass entweder eine Weiterverwendung der Daten durch den Anbieter vertraglich ausgeschlossen wird oder im Rahmen der Beschaffungskriterien der Schutz der Personendaten z.B. durch Anonymisierung Berücksichtigung findet.

3.3.

Datengerüst der jeweiligen KI-Anwendung ^

[32]

Eine weitere Problematik, die sich im Zusammenhang mit dem Einsatz von KI-Systemen durch die öffentliche Verwaltung stellt, ist, wie die Trainingsdaten entstanden sind, woher die Trainingsdaten stammen und auf welchen Algorithmen bzw. Vorgaben das System der KI-Anwendung basiert. Die Trainingsdaten bilden die Grundlage der Entscheidung des KI-Systems und können abhängig von der System-Vorgabe zu verzerrten, einseitigen oder sogar diskriminierenden Ergebnissen führen.

[33]

Eine Studie verschiedener Universitäten (Awad et al., 2018) hat gezeigt, dass es in unterschiedlichen Kulturen unterschiedliche Moralvorstellungen über das Alter, den sozialen Status oder die Herkunft gibt. So haben beispielsweise in Asien ältere Menschen einen hohen gesellschaftlichen Stellenwert. Solche Moralvorstellungen könnten in die Programmierung und den Algorithmus eingeflossen sein und haben mithin Auswirkungen auf das Ergebnis. Neben Moralvorstellungen können auch gesellschaftliche oder politische Gegebenheiten – ob bewusst oder unbewusst – bei der Programmierung und des Trainings von KI eine Rolle spielen.

[34]

Im Rahmen des Beschaffungsprozesses muss daher geprüft werden, wofür eine KI-Anwendung verwendet wird, bzw. auf Basis welcher Parameter sie zu welchem Zweck ein Ergebnis erstellen soll. Insbesondere hat auch Gewicht, welche Bedeutung ein Ergebnis für eine betroffene Person hat. Entsprechend sind mehr oder weniger strenge Voraussetzungen an das Training, die formalisierten Tests, die Transparenz der Vorgänge und weitere Qualitätsmerkmale gestellt (Rosenthal, 2022).

[35]

Dass auch die Prognosewertung bzw. Entscheidfindung im Allgemeinen durch eine natürliche Person von Vorurteilen («bias»), Lücken und subjektiven Erfahrungen gekennzeichnet sein kann, ist bekannt und wird gerade durch die Rechtsschutzmöglichkeiten einer ausreichenden Kontrolle unterworfen. Schwieriger stellt sich die Kontrolle einer algorithmischen Entscheidung dar: Weil deren Funktionsweise und Algorithmus in der Regel nicht bekannt und durch Geschäftsgeheimnisklauseln der Anbieter geschützt sind, sind diese einer tatsächlichen wie auch rechtlichen Überprüfung faktisch entzogen. Der Algorithmus kann auch – anders als ein Mensch – nicht im Rahmen einer dienstlichen Erklärung oder Zeugenerklärung befragt werden, warum er eine Entscheidung in einer bestimmten Weise getroffen hat. Das Risiko einer für sie gerichtlich nachteiligen Entscheidung trägt letztlich die einsetzende Behörde, und zwar unabhängig davon, ob ein Mensch oder ein KI-System gehandelt wird. Ist das Gericht nicht von der Rechtmässigkeit überzeugt, und sei es, weil begründete Zweifel an der «Unvoreingenommenheit» des KI-Systems bestehen, ist der Verwaltungsakt rechtswidrig.

[36]

Umso wichtiger erscheint es daher, bereits im Beschaffungsprozess gegenüber dem Anbieter Vorgaben zu machen, mit welchen Trainingsdaten und nach welchen Masstäben die KI trainiert wird und ob und in welchem Umfang Algorithmen und die Herkunft der Trainingsdaten offen zu legen sind. Auch könnte im Rahmen der Beschaffung vorgegeben werden, dass der Quellcode zur Überprüfung durch eine vertrauenswürdige, neutrale oder verschwiegenheitsverpflichtete Stelle offengelegt werden muss.

[37]

Zudem ist bei der Beschaffung von KI-Anwendungen für die Verwendung im öffentlichen Sektor ein besonderes Augenmerk darauf zu legen, ob sie dem bestehenden Regelwerk (bspw. Gleichstellungsgesetz, Diskriminierungsverbot) entsprechende Entscheidungen und Resultate produzieren.

3.4.

Verwaltungsarbeit durch KI: Unterstützend oder beschliessend? ^

[38]

Es ist davon auszugehen, dass insbesondere in Verfahren, die sich durch eine hohe Standardisierung von Prozessabläufen auszeichnen, einzelne Prozessschritte automatisiert werden. Eine Grenze zu ziehen, wie viel menschliches Involvieren benötigt wird, um ein Entscheid, bzw. ein behördliches Handeln als „menschlich“ und nicht „automatisiert“ zu qualifizieren, ist pauschaliert kaum möglich. Dennoch ist genau diese Frage von Bedeutung.

[39]

Es stellt sich die Frage, ob eine Pflicht des Staates gegenüber den betroffenen Personen besteht, die beinhaltet, dass gewisse behördliche Entscheidungen durch Menschen getroffen werden (Braun Binder, 2023).

[40]

Aus den Vorgaben der Bundesverfassung, dem in Art. 29 Abs. 2 BV verankerten Anspruch auf rechtliches Gehör, kann sich die Notwendigkeit ergeben, dass behördliche Entscheidungen durch Menschen getroffen werden müssen. Art. 29 Abs. 2 BV lautet: “Die Parteien haben Anspruch auf rechtliches Gehör.”

[41]

Wie das Bundesgericht in ständiger Rechtsprechung urteilt, besteht die Pflicht der Behörde, ihre Verfügungen und Entscheide zu begründen (BGE 129 I 232 E 3.2):

„Der Grundsatz des rechtlichen Gehörs als persönlichkeitsbezogenes Mitwirkungsrecht verlangt, dass die Behörde das Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, sorgfältig und ernsthaft prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die grundsätzliche Pflicht der Behörden, ihren Entscheid zu begründen. Der Bürger soll wissen, warum die Behörde entgegen seinem Antrag entschieden hat. Die Begründung eines Entscheids muss deshalb so abgefasst sein, dass der Betroffene ihn gegebenenfalls sachgerecht anfechten kann. Dies ist nur möglich, wenn sowohl er wie auch die Rechtsmittelinstanz sich über die Tragweite des Entscheids ein Bild machen können. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde leiten liess und auf welche sich ihr Entscheid stützt (BGE 126 I 97 E. 2b mit Hinweisen).“.
[42]

Eine behördliche Begründung erfolgt aber dann nicht mehr, wenn das KI-System völlig autonom zum Beispiel über den Bezug von Sozialhilfeleistung anhand der vom Antragsteller zur Verfügung gestellten Angaben eine Entscheidung trifft. Soweit es die Berechnung betrifft, stellt sich der Einsatz von KI als unkompliziert dar, da es nichts anderes ist als die Nutzung eines Taschenrechners. Wenn es aber um Einzelfallentscheidungen oder die Ausübung von der Behörde durch Gesetz eingeräumtes Ermessen geht, stellt der Einsatz von KI-Systemen auf den ersten Blick eine Herausforderungen dar.

[43]

So liegt ein Ermessensmissbrauch vor, wenn die Ermessensausübung nicht pflichtgemäss erfolgt, von sachfremden Kriterien geleitet oder “unmotiviert” ist (VGr ZH, 22.10.2004, VB.2004.00297, E. 2.3). Auch wenn wohl nicht jede menschliche behördliche Entscheidung besonders motiviert erfolgt, dürfte jedenfalls beim Einsatz von KI keinerlei „Motivation“ vorliegen. Und auch eine Ermessensunterschreitung kann vorliegen. Dies ist der Fall, wenn die Behörde das ihr eingeräumte Ermessen nicht ausschöpft, und beispielsweise ganz oder teilweise auf das ihr zustehende Ermessen verzichtet (VGr ZH, 9.11.2011, VB.2011.00573, E. 2), wenn besondere Umstände nicht berücksichtigt werden, obwohl das Recht dies vorsieht (VGr ZH, 8.2.2007, VB.2006.000369, E. 6), oder wenn die Behörde Fälle schematisch gleich behandelt, obgleich der Gesetzgeber eine differenzierte Behandlung bestimmter Fragen fordert (VGr ZH, 19.5.2004, VB.2004.00123, E. 4.3.1).

[44]

Vor der Beschaffung von KI-Systemen sind daher verwaltungsinterne Richtlinien zu erstellen, wie das rechtliche Gehör und die Ausübung des Ermessens unter schlussendlicher menschlicher Beteiligung erfolgen. Die Richtlinien können ebenso Vorgaben zur Erfüllung von Transparenzanforderungen oder Entscheidungs-Triagen enthalten. Diese Richtlinien bilden die Grundlage für die Beschaffungskriterien des zu beschaffenden Systems.

[45]

Oftmals kritisiert wird auch die mangelnde bzw. eingeschränkte Nachvollziehbarkeit maschineller Lernverfahren. Fraglich ist, ob eine Entscheidung durch eine KI-Anwendung dem rechtsstaatlichen Begründungserfordernis eines Rechtsaktes bzw. Gerichtsurteils genügen kann. Die Begründung dient dazu, Transparenz bezüglich der Entscheidungsgründe herzustellen. Sie soll es den Betroffenen ermöglichen, gegen den behördlichen Entscheid ein sachgerechtes Rechtsmittel einzureichen. (Braun Binder, 2019). Doch auch dies ist, konsequent betrachtet, lediglich eine Anforderung an die Ausgestaltung und Qualität der KI-Anwendung.

[46]

Selbst ohne tangierte Grundrechte erfordert der Einsatz von KI in der Verwaltung zu seiner demokratischen Legitimation eine genügend bestimmte gesetzliche Grundlage (Gesetzmässigkeitsprinzip). Denn grundsätzlich geht die demokratische Legitimation wohl aktuell davon aus, dass hoheitliches Handeln einem Menschen obliegt und von Menschen verantwortet werden. Es ist also unabhängig von der Art des Einsatzes unumgänglich, eine genügend bestimmte gesetzliche Grundlage zu schaffen, sofern die Nutzung von KI im Ergebnis die Rechtstellung von Personen betrifft, auch wenn sie nur unterstützend angewendet wurde (Reiter, 2022). Dieser Auffassung von Reiter ist insofern zuzustimmen, dass je selbstautonomer KI-Programme Entscheidungen treffen, die eine Auswirkung auf den Bürger haben, desto eher es einer gesetzlichen Grundlage bedarf. Denn KI-Tools die die menschliche Entscheidung ersetzen, sind gerade nicht nur einfach Hilfsmittel des Verwaltungsmitarbeiters, sondern ersetzen diesen. Erfolgt eine vollständige oder weitestgehende Ersetzung von Verwaltungsaufgaben durch autonome Systeme (z.B. denkbar auch autonome Polizeiroboter, wie diese für den New-Yorker Einsatz geplant sind2 oder derzeit im Innovation Lab der Polizei NRW entwickelt werden3) ist KI aber nicht nur Hilfsmittel ist, sondern «Entscheider» und bedarf wegen dem Gesetzmässigkeitsprinzip einer gesetzlichen Grundlage im entsprechenden Fachgesetz. Denn dies führt zu zweierlei: Der Gesetzgeber muss sich bei der Gesetzeserarbeitung (politisch) damit befassen, ob und in welchem Umfang er KI-Tools als Substituierung des Verwaltungsmitarbeitenden einsetzen will. Und der Bürger kann anhand der gesetzlichen Grundlage erkennen, ob (i) ein Verwaltungsmitarbeiter entscheidet, (ii) ein Verwaltungsmitarbeiter und eine KI entscheiden oder (iii) eine KI autonom entscheidet.

[47]

Dem kann entgegengehalten werden, dass auch der Output generativer KIs nichts anderes als die aggregierte und statistisch modellierte Meinung vieler Menschen ist, weil diese den Inputdaten der KI-Modelle zugrunde liegt. So betrachtet wären KI-Systeme «demokratischer» als viele andere Technologien.

[48]

Diese Auffassung übersieht aber, dass KI-Systeme mit einer bestimmten Moral- oder Grundvorstellung programmiert sein können (siehe zuvor) und sich die autonomen Fähigkeiten von KI-Systemen in der Zukunft fortentwickeln wird. Während in den Neunzigern von einigen dem World-Wide-Web eine Demokratisierung der Welt vorschwebte, zeigt sich heute, dass sich diese Hoffnung nicht unbedingt erfüllt hat (auch wenn das auch an anderen Umständen liegen könnte). Der Einsatz von KI-Systemen in der Verwaltung stellt sich für den Verfasser als unproblematisch dar, soweit die verfassungsrechtlichen Grundprinzipien und Rechtsschutzmöglichkeiten gewahrt bleiben. Neue Techniken brauchen angepasste gesetzliche Grundlagen: Das war bei der Eisenbahn so, bei dem Auto und auch bei dem Internet.

[49]

Wer KI-Systeme beschafft, wird die Thematik des rechtskonformen Einsatzes von zu beschaffenden KI-Systemen berücksichtigen müssen.

3.5.

Urheberrechte bei der Nutzung von KI ^

[50]

Bei der Weiterverwendung von Ergebnissen, welche mittels einer KI-Anwendung erstellt wurden, stellt sich auch die Frage nach den Urheberrechten an diesen Ergebnissen. Art. 2 Abs. 1 Urheberrechtsgesetz (URG) definiert den Begriff des Werks wie folgt: «Werke sind, unabhängig von ihrem Wert oder Zweck, geistige Schöpfungen der Literatur und Kunst, die individuellen Charakter haben».

[51]

Aufgrund des Kriteriums der geistigen Schöpfung unterfallen die Ergebnisse von KI-Anwendungen nicht dem urheberrechtlichen Werk-Begriff. Etwas anderes kann sich daraus ergeben, dass ein Mensch einen kreativen Input (Prompt) vornimmt und damit das KI-Ergebnis überhaupt erst erzielt werden kann. Soweit das Bundesgericht (BGE 130 III 168 E. 5.2.) entschieden hat, dass ein Foto des bekannten Sängers Bob Marley auf einem Konzert Urheberrechtsschutz geniessen kann, dürfte diese Rechtsprechung auch auf die KI-Eingabe zu übertragen sein. Im richtigen Moment auf den Auslöser einer Kamera drücken (Bob Marley) ist ebenso schöpferisch wie eine kreative Eingabe bei einem KI-Tool.

[52]

Soweit für den KI-Input urheberrechtlich geschütztes Material oder Werke genutzt werden, muss der Verwender über die Nutzungsrechte verfügen oder sich diese einräumen lassen. Bei dem Input von einfachen Texten zum Beispiel in einem Antragsformular dürfte kein Urheberrechtsschutz bestehen. Aber bei dem Input von Fotos, Bildern oder Videos in ein KI-System ist das Urheberrecht zu beachten, insbesondere wenn das KI-System die Daten für Trainingszwecke weiterverarbeitet.

[53]

Eine Lösung könnte sein, dass bei der Beschaffung eine Weiterbearbeitung von Input-Daten für Trainingszwecke vertraglich ausgeschlossen wird. Eine andere Lösung könnte sein, verwaltungseigene KI-Agenten zu nutzen, bei denen die Input-Daten innerhalb des IT-Systems der Verwaltung bzw. Verwaltungseinheit verbleiben, so dass die Verarbeitung des Fotos des Antragstellers eine Verwaltungstätigkeit darstellt und keine Nutzung der Daten durch externe Anbieter des KI-Systems bzw. das Unternehmen erfolgt.

3.6.

KI-Anwendungen als Substituten in der Vertragserfüllung ^

[54]

Wird ein Teil der Arbeit durch KI-Anwendungen erbracht, stellt sich die Frage wie diese «Auslagerung» zu qualifizieren ist, und ob eine solche zulässig ist.

[55]

Das Bundesgericht setzte sich in BGer 4A_305/2021, E 7.3 mit der Rechtsfrage auseinander, ob ein algorithmisches System die Rechtsfigur der Substitutin im Sinne des OR ausfüllen kann. Dabei kam das Gericht zum Schluss, dass mit «Dritten» im Sinne von Art. 398 Abs. 3 OR andere natürliche oder juristische Personen gemeint sind. Dies ergebe sich daraus, «dass der Auftraggeber gemäss Art. 399 Abs. 3 OR Ansprüche, die dem Beauftragten gegen den Dritten zustehen, unmittelbar gegen diesen geltend machen kann. Dies setzt voraus, dass dem Dritten Rechtspersönlichkeit zukommt. Die Verwendung von Hilfsmitteln, wie beispielsweise eines Computers mit entsprechender Software, die das Market Making automatisiert durchführt, stellt keine Substitution dar, da diesen Hilfsmitteln keine Rechtspersönlichkeit zukommt.» (BGer 4A_305/2021, E 7.3.1).

[56]

Überträgt man diesen Rechtsgedanken auf das Verwaltungsrecht, dann würde auch der verwaltungsrechtliche Einsatz von KI-Systemen keine Substituierung der Verwaltungstätigkeit darstellen, sondern lediglich Hilfsmittel der Verwaltungstätigkeit sein.

[57]

Die verfassungsrechtlichen Vorgaben des Art. 29 Abs. 2 BV, wie auch das Vertrauen in die Nachvollziehbarkeit verwaltungsrechtlicher Entscheidungen, führen zwingend dazu, dass zwischen dem privatrechtlich-substituierenden Handeln und dem verwaltungsrechtlich-substituierenden Handeln zu unterscheiden ist. Zudem ist die Verwaltung nicht nach Auftragsgrundsätzen im Sinne des OR tätig, so dass die zivilrechtliche Rechtsprechung des Bundesgerichts nicht auf das Verwaltungsverfahren zu übertragen ist.

4.

Was gilt es zu beachten bei der Beschaffung von KI-Anwendungen für die öffentliche Hand? ^

[58]

Die Beschaffung von Systemen künstlicher Intelligenz für die Anwendung im öffentlichen Sektor unterscheidet sich nicht von der Beschaffung von ICT-Dienstleistungen oder -Produkten. Die Beschaffung von KI-Anwendungen ist für die öffentliche Hand, zumindest als Hilfsmittel, ohne Weiteres gestattet.

[59]

Die für Beschaffung von KI-Anwendungen absehbaren Problemfelder ergeben sich aus dem nach der Beschaffung beabsichtigten Einsatz des KI-Systems. Da der Staat in seinen Handlungen an die Grundrechte gebunden ist, sind diese stets zu berücksichtigen. Dabei ist es insbesondere das Recht auf Privatsphäre, welches Ausfluss im Datenschutzgesetz findet, zu beachten, da die KI-Systeme gewichtigsten Risiken für den Schutz von Personendaten mit sich bringen. Jede Anwendung von künstlicher Intelligenz setzt eine Bearbeitung von Daten, insbesondere zu Lern- und Trainingszwecken voraus, um bessere Ergebnisse zu erzielen. Zudem ist das verfassungsmässige Recht auf Gleichbehandlung bzw. gegen Diskriminierung (Art. 8 BV) zu berücksichtigen. Der Staat hat in der Anwendung von KI zu gewährleisten, dass diese auf einer neutralen Datenbasis beruht.

[60]

Bei dem Einsatz von KI-Anwendungen in der öffentlichen Verwaltung könnten im Rahmen des Beschaffungsvorganges folgende Vorgaben bestehen:

[61]

1. Transparenz: Bei der Beschaffung von KI-Systemen bedarf es in der Ausschreibung Anforderungen an:

  • die Offenlegung/Transparenz über die Herkunft der (Trainings-) Daten
  • Transparenz über den Algorithmus der Entscheidungsfindung
  • Idealerweise: Offenlegung des Quellcodes, jedenfalls gegenüber der Behörde
  • In den Entscheiden ist z.B. durch einen „digitalen Fussabdruck“ offenzulegen, dass der Entscheid unter Nutzung von KI-Systemen getroffen wurde. Das ermöglicht dem Bürger, den Bescheid und die verwendeten Hilfsmittel zu überprüfen4.
[62]

2. Richtlinien: Aus den verwaltungsinternen Richtlinien müssen sich die Spezifikationen für die zu beschaffende KI-Software ergeben. Die Richtlinien sind vorgängig zur Beschaffung zu erstellen und sollten wesentliche Punkte zum Einsatz von KI-Anwendungen enthalten:

  • Erfüllung der Triage-Checkliste für KI-Systeme (Checkliste 1, Braun Binder et al., 2021).
  • Erfüllung der Transparenzanforderungen (Checkliste 2, Braun Binder et al., 2021)
  • Technische Vorgaben, wie in den Entscheiden die eingesetzten KI-Tools durch eine Signatur oder „digitalen Fussabdruck“ offengelegt werden
  • Vorgaben über die eingesetzten Trainingsdaten und deren Herkunft
  • Vorgaben zur Einhaltung von Gesetzen (u.a. Datenschutz, Urheberrecht)
[63]

3. Einheitlichkeit: Es bedarf einer einheitlichen Verwaltungspraxis für die Ausschreibung von KI-Systemen durch Bund und Kantone im Hinblick auf:

  • Ethische Grundsätze
  • Einhaltung von Gesetzen (z.B. Datenschutz und Urheberrecht etc.)
  • Beschreibung des zu beschaffenden Systems (z.B. Leistungsumfang, Hosting, Herkunft der Trainingsdaten und Anforderungen an die Anpassung der Trainingsdaten etc.)
[64]

Auch wenn kein umfassendes KI-Recht besteht, und ein solches aufgrund der Vielseitigkeit der Risiken und Möglichkeiten auch nicht sinnvoll wäre, es ist keineswegs so, dass sich die öffentliche Verwaltung aktuell bei der Beschaffung von KI in einem rechtsfreien Raum bewegt. Die Koordination der Problemfelder erscheint zwar auf den ersten Blick noch etwas unstrukturiert, bzw. dynamisch. Wenn man sich aber die Entwicklungsgeschwindigkeit von KI aktuell ansieht, wird klar, weshalb eine gewisse Flexibilität und Dynamik im rechtlichen Umgang mit ihr unabdingbar ist.

Literaturverzeichnis ^

Awad, E., Dsouza, S., Kim, R., Schulz, J., Henrich, J., Shariff, A., Bonnefon, J-F., Rahwan, I., The moral Machine Experiment, 2018, https://core.ac.uk/download/pdf/231922494.pdf

Braun Binder, N., Spielkamp, M., Egli, C., Freiburghaus, L., Kunz, E., Laukenmann, N., Loi, M., Mätzener, A., Obrecht, L., Wulf, J., Einsatz künstlicher Intelligenz in der Verwaltung: rechtliche und ethische Fragen, Schlussbericht, 2021, https://www.zh.ch/content/dam/zhweb/bilder-dokumente/themen/politik-staat/kanton/digitale-verwaltung-und-e-government/projekte_digitale_transformation/ki_einsatz_in_der_verwaltung_2021.pdf

Braun Binder, Staat, Mensch, Algorithmen, BJM 2023, https://bjm.recht.ch/fr/artikel/01bjm0123auf/staat-mensch-algorithmen

Braun Binder , Künstliche Intelligenz und automatisierte Entscheidungen in der öffentlichen Verwaltung, SJZ 115/2019 S. 472

EDÖB, Geltendes Datenschutzrecht ist auf KI direkt anwendbar, 2023, https://www.edoeb.admin.ch/edoeb/de/home/kurzmeldungen/2023/20231109_ki_dsg.html

Glass, Datenschutzrecht für künstliche Intelligenz in der öffentlichen Verwaltung / III. – IV., in: Widmer Michael (Hrsg.), Datenschutz – Rechtliche Schnittstellen, 2023, S. 208

Poledna/Schlauri/Schweizer, Rechtliche Voraussetzungen der Nutzung von Open-Source-Software in der öffentlichen Verwaltung, insbesondere des Kantons Bern, 2017

Reiter, Künstliche Intelligenz im Verwaltungsverfahren, AJP 2022 S. 984 ff.

Rosenthal, Datenschutz und KI: Worauf in der Praxis zu achten ist, in: Jusletter IT, April 2022

Sury, Digital in Law, Informatikrecht, 2021

Tschentscher/Lienhard/Sprecher, Öffentliches Recht, Verfassungsrecht, Verwaltungsrecht, öffentliches Verfahrensrecht, 2. Aufl., 2019

Vasella, D. (2022). EDÖB: Zweifel am risikobasierten Ansatz, https://datenrecht.ch/edoeb-zweifel-am-risikobasierten-ansatz/

Waldmann/Wiederkehr, Allgemeines Verwaltungsrecht, 2019


Sven Kohlmeier, Rechtsanwalt, Fachanwalt für IT-Recht (D), Wicki Partners AG.

Mitarbeit: Raël Fein, Substitutin, Wicki Partners AG.

Einen besonderen Dank bei der Redigatur gebührt Thomas M. Fischer, Rechtsanwalt.

  1. 1 So lässt es sich beispielsweise beim Übersetzungsdienst «DeepL» in der Gratis-Version nicht verhindern, dass die eingegebenen Texte für weitere Trainings verwendet und gespeichert werden.
  2. 2 https://arstechnica.com/gadgets/2023/04/nypd-robocops-hulking-400-lb-robots-will-start-patrolling-new-york-city/.
  3. 3 https://www.polizei-dein-partner.de/themen/gewalt/gesellschaft/detailansicht-gesellschaft/artikel/high-tech-unterstuetzung-fuer-die-polizei.html.
  4. 4 In einem Beitrag von IT-Inside haben die Rechtsanwälte Christian Laux und Sven Kohlmeier einen Vorschlag für eine Transparenzmeldung bei Einsatz von KI-Tools erarbeitet: https://www.inside-it.ch/kohlmeier-vs-laux-wie-weit-geht-transparenz-beim-einsatz-von-ki-in-der-verwaltung-20231019.