Jusletter IT

Die technischen Entwicklungen der letzten Jahre und Jahrzehnte führten dazu, dass juristische Textproduktion heute weitgehend digitalisiert und effizienter als früher möglich ist. Textbausteine und «Copy & Paste» sind längst allgemeine Praxis bei der Bearbeitung aller juristischen Textarten.

Nach dem Ende des vorangehenden «Winters der Künstlichen Intelligenz»¹ (KI) scheint der nächste technologische Entwicklungsschritt auch für den Rechtsbereich kurz bevorzustehen. Der Druck durch Budgetkürzungen und ein dadurch gefördertes betriebswirtschaftliches Effizienz-Paradigma², aber auch die aufstrebende Legal-Tech³-Industrie, die durch die Verwendung von KI-Techniken Lösungen zur Effizienzsteigerung anbieten will, lassen vermuten, dass künstliche Intelligenz im Recht eine immer bedeutendere Rolle spielen wird.

Erste Einsatzgebiete sind die automatisierte Auswertung und Klassifizierung juristischer Texte oder die Aufbereitung von Daten bei Ermittlungen⁴, sowie die Bewertung juristischer Sachverhalte und die Erstellung rechtlich relevanter Prognosen.

Bei Systemen wie ROSS⁵ liegt der Schwerpunkt auf der Analyse und Klassifikation von Rechtstexten. Es wird nur mittelbar auf den Inhalt juristischer Entscheidungen Einfluss genommen. Im Gegensatz dazu sollen KI-Prognosesysteme direkt den Inhalt solcher Entscheidungen beeinflussen und zumindest eine Grundlage dafür liefern. Zu solcher Software zählt neben dem in den USA eingesetzten Programm COMPAS⁶ zur Ermittlung der Rückfallwahrscheinlichkeit von Straftätern auch das für das Österreichische Arbeitsmarktservice (AMS) projektierte Prognosesystem⁷, mit dem Arbeitssuchende kategorisiert werden sollen.

Letztgenannte Systeme werden teilweise schon als erster Schritt in Richtung einer «objektiven»⁸ mechanical jurisprudence⁹ und zum Einsatz von KI-Richtern¹⁰ gesehen.

Um die – je nach Standpunkt – Chance oder Bedrohung des Einsatzes von juristischer KI und vielleicht auch des Ersatzes von Juristen durch KI beurteilen zu können, ist es notwendig, einen kurzen Blick auf die technischen Konzepte von KI-Systemen zu werfen. Im Bereich der schwachen¹¹ KI kann grob unterschieden werden zwischen

• nicht-statistischen, regelbasierten bzw. symbolischen und
• statistischen bzw. nicht-symbolischen KI-Systemen.

In konkreten KI-Systemen können regelbasierte und statistische Teilsysteme kombiniert werden.

Nicht-statistische KI wurde lange als die adäquate¹² Form für juristische Expertensysteme angesehen. Es handelt sich dabei im Allgemeinen um regel- oder fallbasierte Systeme, bei denen Regeln explizit als logische Abbildungen von Normen formuliert oder aus Fällen gewonnen werden. Begriffe oder Sachverhaltselemente werden in diesen Systemen unterschiedlich dargestellt, letztlich aber als Variablen in den Regeln abgebildet. Es wird daher auch von symbolischer Wissensrepräsentation gesprochen, da Wissen z.B. in mathematischen Formeln oder Ausdrücken der Prädikatenlogik, also mit (formalen) Sprachsymbolen dargestellt wird. Die Regeln werden von einem Domänen-Experten formuliert und auf inhaltliche Korrektheit überprüft.

Der wesentliche Vorteil dieser Systeme ist die Nachvollziehbarkeit der gezogenen Schlüsse, da die Regeln – zumindest dem Entwickler oder Hersteller der Software – bekannt sind.

Der wesentliche Nachteil ist, dass die Definition der Regeln sehr aufwändig ist und eine vollständige Abbildung eines umfangreicheren Fachgebiets, wegen der sich dabei ergebenden Komplexität und Zahl der Regeln, kaum möglich ist.

Im juristischen Bereich ergab sich zusätzlich das Problem, dass es für dieses Fachgebiet typisch ist, nur Einzelfälle zu behandeln, und dass juristische Aussagen, die nicht in einer Gerichtsentscheidung enthalten sind, regelmäßig unter dem Vorbehalt anderer Rechtsmeinungen stehen. Da der Gesetzgeber Rechtsnormen laufend ändert oder durch Entwicklungen der Rechtsprechung die Interpretation von Regeln angepasst werden muss, kam auch noch der Aufwand und die Schwierigkeit der Wartung und Adaptierung der Regeln in der Wissensbasis hinzu.

Mit diesem Konzept der KI wurden daher kaum marktreife Anwendungen¹³ realisiert. Die Erwartungen, die in die regelbasierte KI für Juristen gesetzt wurden, konnten noch weniger als in anderen Fachgebieten erfüllt werden.

Die Verfahren der statistischen bzw. nicht symbolischen Kl kommen ohne die aufwändige Definition von Regeln aus. Sie bilden die Grundlage des Aufschwungs und der technischen Erfolge der KI in den letzten Jahren. Sie sind verbunden mit den technischen neuronalen Netzen, bei denen Netzwerkknoten, in Analogie zum Gehirn Neuronen genannt, in Schichten angeordnet werden. Signale, also Daten, werden zwischen den Schichten weitergeleitet und von den Knoten gewichtet, ausgewertet und das Bearbeitungsergebnis in die nächste Schicht weitergeleitet.

Die Technik des Deep Learning ist dabei eine spezielle Klasse künstlicher neuronaler Netze, bei denen mehrere (versteckte) Schichten von Neuronen zwischen der Ein- und der Ausgabeschicht verwendet werden. Diese Systeme weisen ein besonders gutes Lernverhalten auf und waren in letzter Zeit so erfolgreich, dass «KI» heute praktisch oft mit «Deep Learning» gleichgesetzt wird.

Diese Netze werden über Daten trainiert. Während dieses «Lernvorgangs» werden für die einzelnen Knoten die internen Parameter von Gewichtungs- und Bewertungsfunktionen angepasst. Durch Rückkoppelung der Ergebnisse im Rahmen des Trainings werden die einzelnen Knoten optimiert. Welche Werte ein bestimmter Knoten annehmen wird, kann vor dem Training nicht vorausgesagt werden. Vielmehr wird ein solches KI-System immer mehr zur «black-box», bei der die Details und Ursachen des Systemverhaltens immer schwerer analysiert und vorhergesagt werden können.

Voraussetzung für den Aufschwung dieser Technik waren die kostengünstige Verfügbarkeit von großer Rechenleistung und der Zugriff auf möglichst viele Daten zu dem Fachgebiet, in dem das KI-System trainiert werden soll. Das Internet bietet mit Suchmaschinen einfache Zugriffsmöglichkeiten und soziale Netzwerke sind nicht nur passive Datenspeicher, sondern ermöglichen auch die kostengünstige Generierung von Deep-Learning Datensätzen. Die zur Analyse dieser Datenmengen entwickelten Big Data-Techniken waren weitere Voraussetzungen für den Erfolg von Deep Learning.

Typische Problemstellungen, bei denen Deep Learning erfolgreich eingesetzt wird, sind:

• Mustererkennung in Daten und der Versuch der Vorhersagen nächster Werte,
• Zusammenfassen und Zuordnen von Daten zu Kategorien und
• Erkennen von Abweichungen von Standartwerten und -verhalten eines Systems.

Im juristischen Bereich ist insbesondere die Mustererkennung im Rahmen von Sprachbearbeitung (NLP – Natural Language Processing) von Bedeutung.

Für das Training gilt, je mehr¹⁴ Daten, aus denen die Trainingsdaten erzeugt oder ausgewählt werden, desto besser. Sie müssen das zu lernende Fachgebiet erschöpfend und richtig abbilden. Ein Teil der Daten wird als Testdaten zurückbehalten. Mit diesen wird dann geprüft, ob in dem trainierten System das Fachgebiet korrekt abgebildet ist. Stehen zu wenige Daten zur Verfügung, dann werden manchmal auch synthetische Daten erzeugt. Dies ist aber sehr problematisch, da diese Daten nicht nur Kopien vorhandener Daten sein dürfen, sondern neue Trainingsimpulse setzen müssen. Sind synthetische Daten mangelhaft, dann beeinflussen sie das Lernergebnis negativ.

Eine schlechte Qualität¹⁵ von Trainings- und Testdaten kann zu Underfitting (High Bias) oder zu Overfitting (High Variance) führen.

Beim Underfitting werden wesentliche Informationen in den Trainingsdaten nicht berücksichtigt, sei es durch einen schlechten Lernalgorithmus, sei es durch schlechte, unvollständige oder fehlerhaft aufbereitete Trainingsdaten. Das System entwickelt dann «Vorurteile» und wertet einseitig aus. In der Literatur wird häufig in diesem Zusammenhang das COMPAS-System genannt, das Afroamerikanern ein doppelt so hohes Rückfallsrisiko zuordnete wie Weißen.¹⁶ Und das, obwohl dieses Kriterium gar nicht explizit vom System ausgewertet wurde. Die hier erkennbare False-Positive-Zuordnung¹⁷ stellt ein besonders großes Problem für den Bereich der KI dar.

Overfitting ist das Gegenteil von Underfitting. Das System passt sich beim Training so genau an die vorhandenen Daten an, dass es bei kleinsten Abweichungen versagt und außerhalb des Trainings nicht benutzt werden kann.

Teilweise wird versucht, diesen Problemen, insbesondere der Einflussnahme auf das Lernergebnis durch die menschliche Aufbereitung der Trainingsdaten, durch unüberwachtes Lernen beizukommen: Das lernende System soll in diesem Fall aus den Daten selbst Zusammenhänge und Inhalte extrahieren. Dadurch möglicherweise verbesserten Lernerfolgen steht allerdings das Problem gegenüber, dass das Entscheidungsverhalten des Systems noch undurchschaubarer, noch mehr zur «black-box» wird: Es kann immer weniger nachvollzogen werden, aus welchen Gründen das System welche Entscheidung trifft.

Für den Einsatz von KI im Recht sind die Besonderheiten dieser Anwendungsdomäne zu beachten. Die wichtigste Einschränkung, die vor allem für statistische KI-Systeme gilt, ist der Mangel an Daten bzw. die Tatsache, dass juristische Entscheidungen immer Einzelfallentscheidungen und deshalb nur beschränkt generalisierbar sind.

Für statistische Systeme werden große Mengen an Daten benötigt, die möglichst das gesamte Fachgebiet abdecken. Im Rechtsnormenbereich ist das prinzipiell nicht möglich, da letztlich jede kundgemachte Rechtsnorm genau ein Text bzw. ein Datensatz ist.

Aber auch im Rechtsprechungsbereich stehen meistens nicht ausreichend Daten zur Verfügung. Die größte Zahl an Entscheidungen, die der ersten Instanzen, werden nicht publiziert oder in Rechtsdatenbanken übernommen, da sie unstrittig und «juristisch nicht schwierig» sind. Es fehlen daher für KI-Systeme die Trainingsdatensätze. Das führt dann dazu, dass in Forschungsprojekten Machine-Learning-Systeme mit 254¹⁸ Entscheidungstexten trainiert werden, was zum Kennenlernen einer technischen Methode sinnvoll sein kann, aber nur beschränkte statistische Relevanz des Systems bedeutet.

Der Ausweg wäre die Generierung von synthetischen Daten, doch dabei stellt sich das gleiche Problem wie bei regelbasierten Systemen: Jeder Datensatz ist eine Interpretation von Rechtsnormen und von der Rechtsmeinung des Autors abhängig. Wenn die Daten die notwendige Qualität aufweisen sollen, dann ist der Aufwand für ihre Erstellung wahrscheinlich sogar größer als bei der Definition von Regeln bei nicht-statistischen KI-Systemen.

Zusätzlich muss die starke Zeitabhängigkeit von Rechtsnormen und auch der Rechtsprechung beachtet werden. Regelmäßige Änderungen des Normenbestands durch den Gesetzgeber führen dazu, dass vorhandene Daten unwichtig, unbrauchbar oder falsch werden und damit für das Training der Systeme nicht mehr benutzt werden dürfen. Die Notwendigkeit zur aufwändigen intellektuellen Überprüfung aller Trainings- und Testdaten ist die Folge.

Gleiches gilt für Änderungen der Rechtsprechung. In diesem Bereich stellt sich zusätzlich noch das Problem, dass neue Bewertungskriterien oder Variationen der Argumentation zwar für die zukünftige Rechtsauslegung von sehr großer Bedeutung sein können, aber in den Trainingsdaten als Einzelfälle im Vergleich zum inhaltlichen Gewicht statistisch unterrepräsentiert sind.

Statistische Systeme sind daher, selbst wenn die Daten regelmäßig an die Änderungen in der Rechtsprechung angepasst werden, tendenziell rückwärtsgewandt und konservierend. Die juristische Kreativität und Flexibilität, die zur nachvollziehbaren Entscheidungsfindung selbst bei neuen gesellschaftlichen, sozialen oder technischen Entwicklungen unabdingbar ist und die durch das Recht abschliessend geregelt werden, wird von der KI schlichtweg ausgeklammert oder unbeholfen erratisch und aleatorisch behandelt.

Eine einzige neue höchstgerichtliche Rechtsprechung kann damit die gesamte bis dahin aufgebaute Wissensbasis obsolet machen und statistische Systeme, die auf quantitativer Erkenntnis basieren und nicht auf qualitativer, komplett in die Irre führen. Die Wartung der Wissensbasis bzw. die Aktualisierung des neuronalen Netzes benötigt in diesen Fällen viel Aufwand und neue Daten, um die Änderung zu erlernen. Ein wichtiges Hemmnis für den Einsatz von KI-Systemen im Recht, die aufwändige Wartung und Pflege der Regel und/oder Datenbasis, besteht damit weiterhin.

Anders sieht es bei statistischen Prognosesystemen aus, bei denen meist in ausreichendem Maß Statistikdaten zum fraglichen Fachgebiet als Basis für die berechnete Aussage vorhanden sind. Wenn die Qualität der Daten stimmt, stellt sich das Problem des Anwendungsbereichs, für den die Prognosen eine akzeptable Sicherheit bieten:

Wie bei anderen Werkzeugen kann der unsachgemäße Einsatz und vor allem der Einsatz in Bereichen, für die das konkrete Werkzeug nicht gedacht ist, mehr Schaden anrichten, als es insgesamt Nutzen bringt. Das bereits erwähnte System COMPAS zur Prognose der Rückfallwahrscheinlichkeit von Straftätern kann hier wieder als Beispiel dienen. Für diese Prognosesoftware gilt, «dass das Scoringsystem COMPAS gut kalibriert ist, was bedeutet, dass der Anteil der Hochrisiko-Scores (Scores, die ein hohes Rückfallrisiko anzeigen) den tatsächlichen Rückfallquoten unter schwarzen und weißen Häftlingen entspricht.»¹⁹ Für diese Personengruppe wäre das System daher sinnvoll einsetzbar und würde seinen Zweck auch erfüllen. Problematisch bleibt dabei, dass es auch eingesetzt wurde, um Prognosen für andere Gruppen von Straftätern zu erstellen und damit außerhalb des sinnvollen Anwendungsbereichs verwendet wurde.

Bei statistischen Prognosesystemen stellt sich deshalb daher immer die Frage des Anwendungsbereichs. Zusätzlich ist zu beachten, dass den Benutzern auch die Einschränkungen des Systems bekannt sind und sie wissen, in welchen Bereichen sie auf die Ergebnisse vertrauen können. Ein Prognosesystem für die Hochrisisko-Rückfallwahrscheinlichkeit von Straftätern ist kein allgemeines Prognosesystem für die Rückfallwahrscheinlichkeit von Straftätern.

Wie das COMPAS-System zeigt, ist gerade bei juristischen Entscheidungen die Überprüfbarkeit und Nachvollziehbarkeit²⁰ der Grundlagen einer Aussage oder Entscheidung von KI-Systemen von größter Bedeutung. Nur wenn diese gegeben ist, kann auch eine juristische Entscheidung, in der KI-Systeme bei der Entscheidungsfindung eine Rolle spielen, auch wirklich überprüft werden. Leider ist diese bei statistischen Systemen, insbesondere bei Deep Learning-Systemen, nicht oder kaum gegeben.

Keinesfalls darf es möglich sein, dass Hersteller solcher Systeme mit dem Hinweis auf Geschäftsgeheimnisse die Nachvollziehbarkeit nicht gewährleisten²¹. Black-Box-Systeme können den Anforderungen auf Überprüfbarkeit der Entscheidungsgrundlagen in juristischen Verfahren nicht genügen²².

Aber auch bei regelbasierten Systemen, die die Ergebnisse statistischer Auswertungen verwenden, fehlt oft die Nachvollziehbarkeit. Z.B. verwendet das Prognosesystem, das beim Arbeitsmarktservice eingesetzt werden soll, zur Schätzung der kurzfristigen «Integrationschance zu Geschäftsfallbeginn» folgende Formel:

BE_INT = f ( 0,10 – 0,14 x GESCHLECHT_WEIBLICH – 0,13 x ALTERSGRUPPE_30_49 – 0,70 x ALTERSGRUPPE_50_PLUS + 0,16 x STAATENGRUPPE_EU – 0,05 x STAATENGRUPPE_DRITT + 0,28 x AUSBILDUNG_LEHRE + 0,01 x AUSBILDUNG_MATURA_PLUS – 0,15 x BETREUUNGSPFLICHTIG – 0,34 x RGS_TYP_2 – 0,18 x RGS_TYP_3 – 0,83 x RGS_TYP_4 – 0,82 x RGS_TYP_5 – 0,67 x BEEINTRÄCHTIGT + 0,17 x BERUFSGRUPPE_PRODUKTION – 0,74 x BESCHÄFTIGUNGSTAGE_WENIG + 0,65 x FREQUENZ_GESCHÄFTSFALL_1 + 1,19 x FREQUENZ_GESCHÄFTSFALL_2 + 1,98 x FREQUENZ_GESCHÄFTSFALL_3_PLUS – 0,80 x GESCHÄFTSFALL_LANG – 0,57 x MN_TEILNAHME_1 – 0,21 x MN_TEILNAHME_2 – 0,43 x MN_TEILNAHME_3)²³

Selbst wenn diese Formel publiziert und als Berechnungsalgorithmus bekannt ist, so ist sie nicht nachvollzieh- und in einem Verfahren überprüfbar. Jeder einzelne Faktor, jede einzelne Gewichtung dieser Berechnungsanweisung ist inhaltlich nicht nachvollziehbar. Warum bei der Bewertung des Geschlechts gerade – 0,14 und nicht – 0,135, – 0,141 oder ganz andere Werte stehen, kann ohne die genaue Analyse und Überprüfung der statistischen Daten und Berechnungen zur Auswertung dieser Daten nicht überprüft werden.

Die Bewertung der durch das Prognosesystem getroffenen Aussage ist damit nicht möglich. Ob sie akzeptiert wird, wird zur reinen Glaubensfrage. Gerne wird dabei dem «objektiven» Computer vertraut, der allerdings in all diesen Fällen stur und teilnahmslos auf Basis der von Menschen bereit gestellten und damit zwangsläufig subjektiv vorgeprägten Daten und Eingabeparameter entscheidet. Die Objektivität ist somit nur scheinbar, eigentlich liegt schlicht Willkür vor.

Der Einsatz von KI im Recht unterliegt also zahlreichen und gravierenden Einschränkungen: Computergenerierte Entscheidungen sind wegen ausreichender oder qualitativ ungenügender Daten inhaltlich schwach und nur in engen Anwendungsbereichen überhaupt denkbar.

Ungeachtet dieser massiven Einschränkungen genießen vom Computer generierte Aussagen im Rechtsbereich einen sehr hohen Stellenwert. Sie werden sogar, obwohl Begründungen bei neuronalen Netzen systembedingt fehlen, häufig für unfehlbar gehalten. Jedenfalls wird der Mythos der Objektivität aktiv genährt: «The argument is that machines could potentially analyze facts and influence judgements dispassionately, without human bias, irrationality, or mistakes creeping into the process.»²⁴

Dabei wird ausgeblendet, dass KI-Systeme nicht denken und argumentieren können. Sie sind von «sorgfältig strukturierten Daten»²⁵ abhängig, die von Menschen bereit gestellt werden und damit zwangsläufig, «subjektiv geprägt» sind. Nicht selten greifen Startups für Künstliche Intelligenz deshalb auf «Crowd Work» zurück, um so die menschliche Intelligenz «abzufüllen»²⁶. Und nicht zuletzt wegen günstiger Arbeitskräfte ist China im Bereich KI so stark²⁷. KI-Systeme sind zwar sehr schnell, ihnen fehlen aber kognitive Fähigkeiten, die «jedes durchschnittliche fünfjährige Kind» hat²⁸. 

Dazu kommt, dass KI immer und auch im juristischen Bereich rein syntaktisch nach formalisierten Regeln arbeitet. Die inhaltliche Bedeutung und der spezifische Kontext, die semantische und pragmatische Dimension sind für die KI jeweils nur indirekt als Übersetzung in ein syntaktisches und/oder statistisches Regelwerk zugänglich. 

Der inhaltliche, semantische Bedeutungsraum ist für das Recht allerdings wesentlich: Er ermöglicht nicht nur, mit Gesetzen oder mit Verträgen Kompromisse zu finden. Mit der finalen Normsetzungstechnik können Ziele und Werte geschützt werden, ohne die menschlichen Handlungsspielräume zu deren Erreichung einzuengen.

Die Berücksichtigung des jeweiligen pragmatischen Kontexts ist gleichfalls wesentlich für das Recht. Er erlaubt es dem Recht als offenem System, elastisch zu bleiben und neue Entwicklungen intelligent und stimmig zu berücksichtigen.

Die KI ist für diese beiden Dimensionen blind. Da sie rein syntaktisch arbeitet sind ihr inhaltliche Argumente und kontextrelevante Umstände nicht zugänglich. Rechtsfortbildung ist nur in dem Umfang möglich, in dem neue menschliche Erkenntnisse einfließen und dem KI-System in strukturierter Form bereitgestellt werden.

Selbst die Rolle der KI, als Assistent die «menschliche Entscheidungsfindung zu führen», ist deshalb kritisch zu sehen, da sie die Argumentationslast verschiebt: An die Stelle einer autonomen und emanzipierten juristischen Verstandes- und Entscheidungsqualität tritt die Gängelung durch kostengünstig produzierte Computervorschläge, gegen die selbst bei offenkundigen Abweichungen und krassen Fehlern noch argumentiert werden muss. Wobei dafür meistens ein Ansprechpartner fehlt und erst gesucht werden muss, weil das KI-System dafür als Diskussionspartner ungeeignet ist.

Ohne Begründung und ohne eine qualifizierte juristische Beurteilung verliert das Recht, gefangen in der KI-Falle, seinen wertebasierten Charakter und seine demokratische Legitimation²⁹, es degeneriert zum willkürlichen autoritären Zwang.

Für den Einsatz von KI in juristischen Verfahren ist daher sicherzustellen, dass zwei Voraussetzungen erfüllt sind:

• Alle Grundlagen für eine Entscheidung müssen in einem juristischen Verfahren offengelegt und transparent überprüfbar sein. Insbesondere die Algorithmen, die die Grundlage einer durch ein KI-Systeme berechneten Aussage sind, müssen offen zugänglich sein und/oder zumindest die einzelnen automatisiert durchgeführten Schlussfolgerungen in einer für alle Verfahrensbeteiligten verständlichen und nachvollziehbaren Form kommentiert werden. Wesentlich ist dabei auch, dass offengelegt wird, für welchen Anwendungsbereich das jeweilige Werkzeug gedacht ist und für welchen es nachweisbar valide Ergebnisse liefert. Vorab müssen strikte Anforderungen an solche Systeme definiert werden, die insbesondere die Nachvollziehbarkeit und die Begründungspflicht als Grundlagen demokratischer Legitimation sicherstellen.
• Zusätzlich darf ein KI-System in juristischen Verfahren nicht als «persönlicher Assistent» der entscheidenden Person eingesetzt werden und diese anleiten. Vielmehr muss ähnlich wie bei Sachverständigen-Gutachten die vom KI-System getätigte Aussage und die erzeugte Begründung von jeder Partei überprüft und in Frage gestellt werden können und müssen alle Argumente Teil der Entscheidungsbegründung werden.

Nachvollziehbarkeit alleine ist nicht ausreichend. Nur die Kombination dieser beiden Maßnahmen stellt sicher, dass man bei juristischen Entscheidungen nicht in der KI-Falle gefangen wird.

Aletras, Nikolaos/Tsarapatsanis, Dimitrios/Preotiuc-Pietro, Daniel/Lampos, Vasileios, Predicting judicial decisions of the European Court of Human Rights: a Natural Language Processing perspective, PeerJ Comput. Sci., https://peerj.com/articles/cs-93.pdf, PeerJ Comput. Sci. 2:e93; DOI 10.7717/peerj-cs.93, 2016.

Angwin, Julia/Larson, Jeff/Mattu, Surya/Kirchner, Lauren, Machine Bias – There’s software used across the country to predict future criminals. And it’s biased against blacks, ProPublica, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing, 23. Mai 2016.

Bund, elmar, Einführung in die Rechtsinformatik, Springer-Verlag, Berlin – Heidelberg – New York 1991.

Chowdhry, Amit, Law Firm BakerHostetler Hires A «Digital Attorney» Named ROSS, Forbes, https://www.forbes.com/sites/amitchowdhry/2016/05/17/law-firm-bakerhostetler-hires-a-digital-attorney-named-ross/#12b7999578c4, 17. Mai 2016.

Council of Europe, Algorithms and Human Rights, https://rm.coe.int/algorithms-and-human-rights-study-on-the-human-rights-dimension-of-aut/1680796d10.

Darwiche, Adnan, Human-Level Intelligence or Animal-Like Abilities?, Communications of the ACM 10/2018 (Vol. 61), S. 56–67.

De Jesus, Cecille, AI Lawyer «Ross» Has Been Hired By Its First Official Law Firm, Futurism, https://futurism.com/artificially-intelligent-lawyer-ross-hired-first-official-law-firm/, 11. Mai 2016.

Dressel, Julia/Farid, Hany, The accuracy, fairness, and limits of predicting recidivism, Science Advances 2018 (4), S. 1–5.

Engemann, Christoph, Rekursionen über Körper, in: Engemann, Christoph/Sudmann, Andreas (Hrsg.), Machine Learning – Medien, Infrastrukturen und Technologien der Künstlichen Intelligenz, transcript Verlag, Bielefeld 2018, S. 247–268.

Eubanks, Virginia, Automating Inequality, St. Martin’s Press, New York 2015.

Ford, Martin, Architects of Intelligence, The truth about artificial intelligence, Packt Publishing, Birmingham 2018.

Gehlen, Göran, Computer als Steuerfahnder – künstliche Intelligenz hilft Ermittlungsbehörden, heise online, https://www.heise.de/newsticker/meldung/Computer-als-Steuerfahnder-kuenstliche-Intelligenz-hilft-Ermittlungsbehoerden-4245924.html, 8. Dezember 2018 12:24 Uhr.

Hastie, Trevor/Tibshirani, Robert/Friedman, Jerome, The Elements of Statistical Learning, 2. Aufl., Springer Science+Business Media, New York 2009.

Herberger, Maximilian, «Künstliche Intelligenz» und Recht, NJW 39/2018, S. 2826.

Holl, Jürgen/Kernbeiß, Günter/Wagner-Pinter, Michael, Das AMS-Arbeitsmarktchancen-Modell, SYNTHESISFORSCHUNG Gesellschaft m.b.H., http://www.forschungsnetzwerk.at/downloadpub/arbeitsmarktchancen_methode_%20dokumentation.pdf.

Jandach, Thomas, Juristische Expertensysteme: methodische Grundlagen ihrer Entwicklung, Springer-Verlag, Berlin – Heidelberg – New York 1993.

Johnston, Chris, Artificial intelligence «judge» developed by UCL computer scientists, The Guardian, https://www.theguardian.com/technology/2016/oct/24/artificial-intelligence-judge-university-college-london-computer-scientists, The Guardian, 24. Oktober 2016.

Kling, Andrea/Mucker, Clemens, KI und Testen? Qualitätskriterien für eine neue Welt, OBJEKTspektrum 4/2018, S. 32–36.

Kugler, Logan, AI Judges and Juries, Communications of the ACM 12/2018 (Vol. 61), S. 19–21.

Lieth Gardner, Anne von der, An Artificial Intelligence Approach to Legal Reasoning, The MIT Press, Cambridge/Massachusetts 1987.

Liptak, Adam, Sent to Prison by a Software Program’s Secret Algorithms, The New York Times, https://www.nytimes.com/2017/05/01/us/politics/sent-to-prison-by-a-software-programs-secret-algorithms.html, 1. Mai 2017.

Martinek, Michael, Die Autonomie oder die gescheiterte Interdisziplinarität der Rechtswissenschaft, juris – Die Monatszeitschrift 12/2018, S. 447–454.

Monroe, Don, AI, Explain Yourself, Communications of the ACM 11/2018 (Vol. 61), S. 11–13.

O’Neil, Cathy, Angriff der Algorithmen, Carl Hanser Verlag, München 2017.

Pasquale, Frank, When Machine Learning Is Facially Invalid, ACM Communications 9/2018 (Vol. 61), S. 25–27.

Rutkin, Aviva, Law by algorithm: Are computers fairer than humans?, https://www.newscientist.com/article/mg22229735-100-law-by-algorithm-are-computers-fairer-than-humans/, 11. Juni 2014.

Rutkin, Aviva, The judge is a robot, The New Scientist 222 (2973). S. 24.

Sadin, Éric, Das geht zu weit!, Zeit Online, https://www.zeit.de/2017/24/kuenstliche-intelligenz-digitalisierung-machine-learning-mensch, DIE ZEIT Nr. 24/2017, 8. Juni 2017.

Sieckmann, Jan-Reinard, Argumentation und demokratische Legitimation, 57-68, in: Argumentation und politische Legitimation, Interdisziplinäre Studien zu Recht und Staat, Band 40, Nomos, Baden-Baden 2006.

Trinkwalder, Andrea, Irren ist künstlich, c’t 24/2018, S. 130–133.

Waltl, Bernhard/Vogl, Roland, Explainable Artificial Intelligence – The New Frontier in Legal Informatics, in: Schweighofer, Erich/Kummer, Franz/Saarenpää, Ahti/Schafer, Burkhard (Hrsg.), Datenschutz/Legal Tech Tagungsband des 21. Internationalen Rechtsinformatik Symposions IRIS 2018, Editions Weblaw, Bern 2018, S. 113–122.

Wimmer, Barbara, Der AMS-Algorithmus ist ein «Paradebeispiel für Diskriminierung», futurezone, https://futurezone.at/netzpolitik/der-ams-algorithmus-ist-ein-paradebeispiel-fuer-diskriminierung/400147421, 17. Oktober 2018.