Jusletter IT

Der Einsatz von Visualisierungen im Recht wird in einer Vielzahl an Forschungsarbeiten aus unterschiedlichen Disziplinen vorgeschlagen und für sinnvoll erachtet. Die Ziele, die damit verfolgt werden sollen, sind dabei vielfältig. Passera & Haapio [2011] schlagen den Einsatz von Zeitstrahlen zur Verbesserung der Verständlichkeit und Eindeutigkeit von Verträgen vor. Beglinger & Tobler [2008] beschreiben den Einsatz von Flow-Charts zur visuellen Darstellung von EU-Recht, mit dem Ziel, dessen Struktur und Beziehungen allgemeinverständlicher zu gestalten. Khalil [2007], Sauerwald [2007] und Brunschwig [2006] diskutieren den Einsatz von Mindmaps in der juristischen Lehre, Praxis und im Bereich des E-Governments. Dies sind nur einige Beispiele der immer weiter zunehmenden Vielfalt an Rechtsvisualisierungen.

Ein Aspekt wurde jedoch bisher nur unzureichend betrachtet: Die empirische Evaluation solcher Rechtsvisualisierungen bzw. Rechtsvisualisierungsmethoden. Vereinzelte Ansätze zur empirischen Evaluation wurden z.B. von Walser Kessel [2011] im Rahmen der Studie «Fair-Play» oder von Brunschwig [2002] im Rahmen der Evaluation von Rechtsvisualisierungen in der webbasierten juristischen Lehre getätigt. Es fehlt jedoch an einer breiten empirischen Basis zur Evaluation von Rechtsvisualisierungen. Die Gründe dafür sind vermutlich vielschichtig. Eventuell spielt die von Muttard [2007] postulierte empirische Lücke in der Jurisprudenz eine Rolle. Auch von Bedeutung dafür könnte das noch immer recht frühe Entwicklungsstadium des Forschungsfeldes «Rechtsvisualisierung» sein. Vielleicht mangelt es auch an einer einheitlichen und somit vergleichbaren Evaluationsmethodik. Klare Vorgaben einer strukturierten Methodik könnten bei der Evaluation von Rechtsvisualisierungen helfen und somit einen Beitrag zur Erweiterung der empirischen Basis im Forschungsfeld der Rechtsvisualisierung leisten.

Ein Lösungsansatz könnte die Übertragung bereits bestehender und etablierter Evaluationsansätze zur empirischen Evaluation von Informationsmodellen aus der Wirtschaftsinformatik sein. Die Wirtschaftsinformatik ist eine Disziplin, in der Visualisierungen zentrale Bestandteile sind. In fast jedem Forschungsfeld der Wirtschaftsinformatik spielen visuelle Darstellungen (meist in Form von sog. Informationsmodellen) eine entscheidende Rolle. Im Bereich des Geschäftsprozessmanagements [vgl. z. B. Becker et al. 2008; Hammer 2010] sind Geschäftsprozessmodelle [vgl. z.B. Scheer 2000] ein wichtiger Bestandteil. Bei dem Entwurf und der Implementierung von Datenbanken sind Datenmodellierungstechniken (wie z.B. das Entity-Relationship Modell [Chen 1976]) entscheidend. Bei der Planung der Organisation eines Unternehmens und dessen IT-Unterstützung werden sog. Organigramme eingesetzt. Ordnungsrahmen werden genutzt, um z.B. das Zusammenspiel von Unternehmensfunktionen [Becker & Schütte 2004] oder die verschiedenen Aufgaben des Prozessmanagements [Becker et al. 2008] darzustellen. Darüber hinaus gibt es noch eine Vielzahl an weiteren Visualisierungsansätzen. Diese Vielfalt macht es notwendig die unterschiedlichen Visualisierungsmethoden z.B. auf ihre Nützlichkeit oder Anwenderfreundlichkeit hin zu evaluieren. Daher gibt es in der Wirtschaftsinformatik eine breite Basis an empirischer Forschung zur Evaluation von Modellierungsmethoden. Davon könnte auch das Forschungsfeld der Rechtsvisualisierung profitieren, wenn es darum geht, Rechtsvisualisierungen bzw. Methoden zur Rechtsvisualisierung empirisch zu evaluieren.

Der Artikel gliedert sich wie folgt. Zunächst werden bestehende Ansätze in der Wirtschaftsinformatik zur empirischen Evaluation von konzeptionellen Modellen vorgestellt (Kapitel 2). Anschließend werden diese Ansätze im Kontext der Rechtsvisualisierung angewendet. Dazu wird eine konkrete empirische Untersuchung beschrieben, bei der es um die Visualisierung von Handyverträgen geht (Kapitel 3). Darüber hinaus werden ausgewählte Ergebnisse dieser Evaluation präsentiert. Abschließend wird ein Ausblick auf die weitere Durchführung solcher Evaluationen gegeben (Kapitel 4).

Die Vielzahl an Visualisierungsmethoden in der Wirtschaftsinformatik hat zu einer großen Zahl an Forschungsarbeiten zur empirischen Evaluation dieser Methoden geführt. So haben beispielsweise Ramsey et al. [1993] in einer empirischen Studie die Softwarespezifizierungsmethoden «Flow-Chart» und «Program Design Language» hinsichtlich ihres Detaillierungsgrads, der enthaltenen Konstrukte und der Korrektheit hin evaluiert und verglichen. Batra et al. [1990] evaluierten und verglichen die Datenmodellierungstechniken «Relational Model» und «Entity Relationship Model» hinsichtlich ihrer Korrektheit und ihrer vom Nutzer empfundenen Benutzerfreundlichkeit. Die Arbeit von Bodart et al. [2001] evaluiert die Datenmodellierungssprache «Entity Relationship Model» bezüglich der Sinnhaftigkeit der expliziten Repräsentation optionaler bzw. obligatorischer Attribute (in Datenbankschemata), indem die Modellnutzung hinsichtlich der Kriterien Verständlichkeit und Einprägsamkeit hin evaluiert wird.

Ausbauend auf diesen und weiteren empirischen Arbeiten zur Modellevaluation schlagen Gemino & Wand [2004] ein Rahmenkonzept vor, welches die Evaluation von konzeptionellen Modellen hinsichtlich verschiedener Dimensionen und Ausprägungen strukturiert (vgl. Tabelle 1).

Tabelle 1: Rahmenkonzept nach Gemino & Wand [2004] zur Evaluation von konzeptionellen Modellen

Beobachtungsfokus

Zunächst ist es notwendig bei der Evaluation hinsichtlich der Perspektive auf den Evaluationsgegenstand zu unterscheiden (Beobachtungsfokus). Der Gegenstand der empirischen Untersuchung kann dabei entweder die Modellerstellung oder die Modellinterpretation (bzw. Modellnutzung) sein. In beiden Bereichen lässt sich weiter unterscheiden, ob jeweils das Produkt untersucht wird (physisches Modell im Sinne von nicht kognitiv (auch digitale Modelle sind hier zulässig) bei der Modellerstellung bzw. kognitives Modell bei der Modellinterpretation) oder der Prozess der Modellerzeugung (Erstellungsprozess bei der Modellerstellung bzw. das Verstehen des Modells bei der Modellinterpretation) [Gemino & Wand 2004].

Vergleichskriterien

Das Produkt bzw. der Prozess in den jeweiligen Perspektiven Modellerstellung und Modellinterpretation lassen sich nun anhand einer Reihe von Messvariablen untersuchen. Dabei unterscheiden Gemino & Wand [2004] die Kriterien in Effektivitätskriterien und Effizienzkriterien. Zur Messung der Effektivität bei der Erstellung eines (physischen) Modells wird vor allem die Bewertung des erstellten Modells durch Experten vorgeschlagen. Kriterien nach denen bewertet werden sollte, sind Akkuratesse, Korrektheit, Detaillierungsgrad und Vollständigkeit des Modells in Bezug auf den abzubildenden Realweltausschnitt, die Qualität des Modells sowie eventuelle Unstimmigkeiten innerhalb des Modells. Zur Evaluation des Modellerstellungsprozesses sollen insbesondere Fehler und Hindernisse beim Erstellen des Modells beobachtet werden. Außerdem ist die subjektive Einschätzung des Modellierers in die Korrektheit seines Modells ein weiteres Kriterium für die Evaluation des Modellerstellungsprozesses.

Die Effektivität des Produktes (kognitiven Modells) bei der Modellinterpretation (Modellnutzung) sollte nach Gemino & Wand [2004] durch die Kriterien Verständlichkeit des Modells (z. B. mithilfe von Verständnistests), Einprägsamkeit der Modellelemente und dessen Unterstützung beim Problemlösen evaluiert werden. Zur Evaluation des Modellinterpretationsprozesses lassen sich Kriterien wie die Häufigkeit von Fehlinterpretationen oder das subjektive Vertrauen des Modellbetrachters/Modellnutzers in die Korrektheit seiner Interpretation messen.

Die Effizienz bei der Erstellung eines (physischen) Modells lässt sich insbesondere durch die subjektiven Einschätzungen des Modellerstellers hinsichtlich der Leichtigkeit der Nutzung einer Modellierungsmethode und der Leichtigkeit des Erlernens einer Modellierungsmethode messen. Des Weiteren kann als objektive Maßzahl die Zeit, die zur Erstellung des Modells notwendig war, herangezogen werden.

In einer Untersuchung der Interpretation von Modellen lässt sich die Effizienz durch die Einschätzung des Modellinterpretierers hinsichtlich der Leichtigkeit der Nutzung des Modells und des Erlernens der Modellsprache messen. Außerdem ist auch hier ein weiteres Messkriterium die Zeit, die gebraucht wird, um ein Modell zu verstehen bzw. zu interpretieren.

Inwieweit lassen sich nun die Evaluierungskriterien aus der Wirtschaftsinformatik im allgemeinen und das Rahmenkonzept von Gemino & Wand [2004] im Besonderen auf den Kontext der Evaluation von Rechtsvisualisierungen übertragen? Es ist festzuhalten, dass konzeptionelle Modelle der Wirtschaftsinformatik und Rechtsvisualisierungen ähnliche Eigenschaften besitzen. Ein Modell in der Wirtschaftsinformatik lässt sich definieren als «eine durch einen Konstruktionsprozess gestaltete, zweckrelevante Repräsentation eines Objekts» [Thomas 2005, S. 25]. Eine Rechtsvisualisierung ist in der Regel ebenfalls eine in einem (mehr oder weniger strukturierten) Konstruktionsprozess gestaltete Repräsentation eines juristischen Objekts (sei es ein Gesetz, ein Vertrag, eine einzelne Norm oder ein grundlegendes juristisches Prinzip), welche zu einem bestimmten Zweck (z. B. Verbesserung der Verständlichkeit von Recht oder Verbesserung der juristischen Lehre) erstellt wurde. Aus diesem Grund bietet es sich an, die Kriterien zur Evaluation von konzeptionellen Modellen der Wirtschaftsinformatik auf die Evaluation von Rechtsvisualisierungen zu übertragen (vgl. Kapitel 3).

Für den Einsatz von Visualisierungen zur Unterstützung der Verständlichkeit von Verträgen gibt es gute Argumente [Passera & Haapio 2011; Berger-Walliser et al. 2011; Haapio 2012]. Daher erscheint es an dieser Stelle sinnvoll den Einsatz von Rechtsvisualisierungen im Kontext von Verträgen nach den in Kapitel 2 vorgeschlagenen Kriterien zu evaluieren. Der Aufbau einer solchen Untersuchung und erste Ergebnisse werden im Folgenden vorgestellt.

Untersuchungsdesign

Als zu untersuchender Vertragstyp wurde aufgrund seiner allgemeinen Verbreitung der Handyvertrag (auch Postpaid-Vertrag) gewählt. Gerade bei Handyverträgen und deren oft unübersichtlichen und verklausulierten Vertragsbedingungen (z.B. zum Kündigungsrecht) ist es von öffentlichem Interesse die Verständlichkeit der Vertragsbedingungen zu erhöhen. Im Zuge der Studie wurden zwei Paragraphen eines Handyvertrages ausgewählt. Der erste Paragraph (§A) behandelt Rechte und Pflichten des Kunden bezüglich der Zahlung bei unterschiedlichen Ausnahmefällen (z.B. Verlust der SIM-Karte). Der zweite Paragraph (§B) behandelt die Regelung der Kündigungsfristen für verschiedene Situationen.

Zur visuellen Darstellung der Inhalte von §A konnten keine geeigneten etablierten Visualisierungsmethoden im Bereich der Rechtsvisualisierung ermittelt werden. Daher war es an dieser Stelle notwendig, eine eigene Visualisierungsform zu entwickeln, um diese im Anschluss hinsichtlich der in Kapitel 2 vorgestellten Kriterien zu evaluieren. Zu diesem Zweck wurde vor der eigentlichen Untersuchung ein Pretest durchgeführt, in dem eine Reihe von Probanden aufgefordert wurde §A frei zu visualisieren. Im Anschluss wurden diese Visualisierungen hinsichtlich der verwendeten Konzepte, Elemente und Symbole ausgewertet. Ergebnis des Pretests war eine (für §A zugeschnittene) Sammlung an Elementen und zugehörigen Symbolen, die mit hoher Wahrscheinlichkeit zur Visualisierung der Inhalte von §A genutzt werden können. Diese Elemente wurden auf Klebeetiketten gedruckt, damit sie im Verlauf der Untersuchung von den Untersuchungsteilnehmern zur visuellen Darstellung der Vertragsinhalte, ähnlich einer rudimentären Modellierungsmethode, genutzt werden können (vgl. Abbildung 1).

Zur Darstellung von §B wurde die Visualisierungsmethode «Zeitstrahl» gewählt, da sich §B hauptsächlich mit Fristen auseinandersetzt und zur Darstellung von Fristen in Verträgen der Zeitstrahl bereits von Passera & Haapio [2011] vorgeschlagen wurde. Zu diesem Zweck wurde ein Referenzzeitstrahl entwickelt, der den Untersuchungsteilnehmern als Orientierung bei ihrer Visualisierung dienen sollte (vgl. Abbildung 2).

Abbildung 2: Generische Zeitstrahldarstellung zur Visualisierung von §B in Phase 1 (Modellerstellung)

Beobachtungsfokus

In Anlehnung an Gemino & Wand [2004] wurde der Beobachtungsfokus der Studie sowohl auf die Modellerstellung als auch auf die Modellinterpretation gelegt.¹ Aus diesem Grund wurde die Untersuchung in zwei Phasen aufgeteilt. Die erste Phase beschäftigte sich mit der Modellerstellung und evaluiert dabei sowohl die Produktsicht (Rechtsvisualisierung der Vertragsinhalte) als auch die Prozesssicht (Prozess der Visualisierung der Vertragsinhalte) hinsichtlich der von Gemino & Wand [2004] vorgeschlagenen Kriterien. Zu diesem Zweck wurden den Teilnehmern der Untersuchung jeweils entweder §A oder §B vorgelegt. Anschließend wurden die Teilnehmer aufgefordert den entsprechenden Paragraphen zu visualisieren (vgl. Abbildung 3). Dabei bekam jeweils eine Gruppe lediglich den Paragraphentext und eine leeres Blatt Papier während die andere Gruppe zusätzlich dazu noch die Visualisierungsunterstützung in Form des Etikettenbogens bzw. der Zeitstrahldarstellung bekam. Auf diese Weise lassen sich für die zwei Sichten (Produkt und Prozess) und für die zwei Paragraphen jeweils die Gruppen «nur Text» und «Text + Visualisierung» miteinander vergleichen.

Abbildung 3: Versuchsgruppenaufteilung in Phase 1 (Modellerstellung)

Die zweite Phase beschäftigte sich mit der Modellinterpretation und evaluiert dabei ebenfalls aus Produktsicht (mentales Modell der Vertragsinhalte) als auch aus Prozesssicht (Verstehen der Vertragsinhalte) hinsichtlich der bekannten Kriterien. Dabei wurden für die beiden Paragraphen erneut jeweils zwei Versuchsgruppen gebildet. Die erste Gruppe erhielt wieder nur den Vertragstext während die zweite Gruppe jeweils zusätzlich zum Vertragstext noch eine Visualisierung der Vertragsinhalte erhielt. Diese Visualisierung wurde aus den besten Ansätzen der ersten Phase konsolidiert und wurde mit dem Ziel erstellt, eine möglichst gute Visualisierung der Vertragsinhalte zu liefern. Ein Beispielausschnitt dieser Visualisierung aus der zweiten Versuchsphase ist in Abbildung 4 zu sehen. Der Paragraph (§A) beginnt mit den Worten «Der Kunde ist verpflichtet,»

Abbildung 4: Versuchsgruppenaufteilung in Phase 2 (Modellinterpretation)

Vergleichskriterien

Bei der Auswertung der Evaluation wurde ein Großteil der Vergleichskriterien aus dem Kriterienkatalog von Gemino & Wand [2004] angelegt. Für die erste Versuchsphase (Modellerzeugung) aus Produktsicht wurden zunächst die durch die Versuchsteilnehmer erzeugten Rechtsvisualisierungen unabhängig voneinander durch mehrere Visualisierungs- und Modellierungsexperten (Wirtschaftsinformatiker) hinsichtlich der Effektivität untersucht. Dabei wurden die Kriterien Genauigkeit, Vollständigkeit und Qualität bewertet. Für das Kriterium Genauigkeit wurden dabei unverständliche Elemente, überflüssige Elemente und redundante Elemente getrennt voneinander betrachtet und zu einem Genauigkeitswert kombiniert. Für das Kriterium Vollständigkeit wurden alle Abschnitte eines Paragraphen (teilweise auf Basis einzelner Satzteile) hinsichtlich ihres Vorhandenseins in der Visualisierung hin untersucht. Für das Kriterium Qualität wurden subjektive Bewertungen zu Übersichtlichkeit, Struktur, Gleichmäßigkeit, Qualität des Visualisierungsansatzes und Intuitivität gewichtet aggregiert. Hinsichtlich der Effizienz wurden die subjektiven Kriterien Leichtigkeit der Nutzung und Leichtigkeit des Erlernens durch mehrere entsprechende Fragen an den Untersuchungsteilnehmer (nach Abschluss seiner Visualisierung) evaluiert. Aus Prozesssicht wurde das subjektive Vertrauen in die Korrektheit der eigenen Visualisierung abgefragt.

In der zweiten Versuchsphase (Modellinterpretation) aus Produktsicht wurde zunächst das Effektivitätskriterium Verständnis des Vertragstextes anhand eines Verständnistests abgefragt. Anschließend wurden die Effizienzkriterien Leichtigkeit der Nutzung und Leichtigkeit des Erlernens mit entsprechenden Fragebogenitems abgefragt. Zusätzlich wurde die Zeit gemessen, die die Teilnehmer zur Beantwortung der Verständnisfragen benötigten. Aus Prozesssicht wurde das subjektive Kriterium Vertrauen in Korrektheit der Visualisierung abgefragt.

Ausgewählte Ergebnisse

Eine erste Auswertung der Untersuchungsdaten hat bereits einige interessante signifikante Ergebnisse hervorgebracht. So konnte anhand eines Zweistichproben-t-Tests gezeigt werden, dass hinsichtlich des Kriteriums Genauigkeit in der Phase der Modellerstellung die Vorgabe einer Visualisierungsunterstützung in beiden Fällen (Etiketten und Zeitstrahl) zu einer signifikant höheren Genauigkeit der Visualisierungen gegenüber keiner Vorgabe geführt hat. Des Weiteren konnte hinsichtlich des Kriteriums Vollständigkeit in der Phase der Modellerstellung gezeigt werden, dass Visualisierungen, die mit der Unterstützung durch die Etiketten erzeugt wurden, signifikant vollständiger sind als Visualisierungen, die ohne Unterstützung erstellt wurden. Für die Unterstützung durch die Vorgabe eines Zeitstrahls war das Ergebnis hier nicht eindeutig. Für die zweite Phase (Modellinterpretation) konnte gezeigt werden, dass Rechtsvisualisierungen, die begleitend zum Text bereitgestellt wurden, die Verständlichkeit des Inhaltes signifikant erhöhen (sowohl in §A mit Symboldarstellungen als auch in §B mit zeitstrahlähnlicher Darstellung).

Die Übertragung von Evaluationskriterien aus der Modellevaluation der Wirtschaftsinformatik auf die Evaluation von Rechtsvisualisierungen ist ein erster Schritt hin zum Ausbau einer empirischen Basis der Rechtsvisualisierung. Nun ist es notwendig, über die Kriterien der Wirtschaftsinformatik hinaus weitere Kriterien zu ermitteln, die im Kontext von Rechtsvisualisierungen relevant sind. Denkbar wäre z.B. ein durch einen Rechtsexperten bewertetes Kriterium juristische Gültigkeit, welches eine Rechtsvisualisierung hinsichtlich ihrer juristischen Validität hin bewertet. Ebenfalls denkbar ist ein Kriterium deontische Funktion, welches ermittelt, ob Konzepte wie Pflicht, Recht, Gebot und Verbot angemessen repräsentiert wurden. Unabhängig der einzelnen Evaluationskriterien ist jedoch klar, dass eine ausführlichere Beschäftigung mit der Evaluation in der Rechtsvisualisierung einen wichtigen Beitrag zur weiteren Etablierung des Forschungsfelds leisten kann. «Evaluation’s most important purpose is not to prove, but to improve» [Stufflebeam 2004, S. 247].

Danksagung

Unser besonderer Dank gilt den Teilnehmern des Vertiefungsmoduls «Visualisierung» 2011/2012 der Westfälischen Wilhelms-Universität (Jan Bechstein, Yvonne Meyer, Philipp Overfeld, Tobias Rippel und Britta Schulte), die uns tatkräftig bei der Durchführung der Experimente unterstützt haben. Außerdem danken wir allen Teilnehmern des Experiments für Ihre Teilnahmebereitschaft.

Batra, Dinesh/Hoffer, Jeffrey A./Bostrom, Robert P., Comparing representations with relational and EER models. In: Communications of the ACM, Heft 33(2), S. 126–139 (1990).

Becker, Jörg./Schütte, Reinhard, Handelsinformationssysteme, Redline Wirtschaft, Frankfurt am Main (2004).

Becker, Jörg./Kugeler, Martin/Rosemann, Michael (Hrsg.) Prozessmanagement. Springer, Berlin et al. (2008).

Berger-Walliser, Gerlinde/ Bird, Robert. C./Haapio, Helena, Promoting Business Success Through Contract Visualization. In: Journal of Law, Business, and Ethics, Heft 17 (1), (2011).

Bodart, Francois/Patel, Arvind/Sim, Marc/Weber, Ron, Should optional properties be used in conceptual modelling? A theory and three empirical tests. In: Information Systems Research, Heft 12(4), S. 384–405 (2001).

Brunschwig, Colette R., Visualising legal information: mind maps and e-government. In: Electronic Government, Heft 3(4), S. 386-403 (2006).

Brunschwig, Colette R., Legal Design und Web Based Legal Training: Evaluation von Visualisierungen im Web Based Training der Credit Suisse. In: Schweighofer, Menzel, Kreuzbauer (Hrsg.), IT in Recht und Staat, Aktuelle Fragen der Rechtsinformatik, Verlag Österreich, Wien (2002).

Chen, Peter. P.-S., The entity-relationship model - toward a unified view of data. In: ACM Transactions on Database Systems (TODS), Heft 1(1), S. 9-36 (1976).

Gemino, Andrew/Wand, Yair, A framework for empirical evaluation of conceptual modeling techniques. In: Requirements Engineering, Heft 9(1), S. 248-260 (2004).

Haapio, Helena, Making Contracts Work for Clients: Towards Greater Clarity and Usability. In: Schweighofer/Kummer/Hötzendorfer (Hrsg.), Transformation juristischer Sprachen, Tagungsband des 15. Internationalen Rechtsinformatik Symposions IRIS 2012, Wien, S. 389-396 (2012).

Hammer, Michael, What is Business Process Management. In: Brocke/ Rosemann (Hrsg.), Handbook on Business Process Management, Springer, Berlin et al., S. 3-16 (2010).

Khalil, Aiman, Rechtsvisualisierung durch Mindmaps – (k)eine Modeerscheinung. In: Schweighofer/Geist/Heindl (Hrsg.), Tagungsband des 10. Internationalen Rechtsinformatik Symposions IRIS 2007, Salzburg, S. 468-473 (2007).

Muttard, Daved, The Empirical Gap in Jurisprudence – A Comprehensive Study of the Supreme Court of Canada, University of Toronta Press Inc., Toronto, Buffalo, London (2007).

Passera, Stefania/Haapio, Helena, Facilitating Collaboration through Contract Visualization and Modularization. In: Proceedings of the European Conference on Cognitive Ergonomics ECCE, Rostock, S. 57-60 (2011).

Ramsey, H. Rudy/Atwood, Michael E./Van Doren, James R., Flowcharts versus program design languages: an experimental comparison. In: Communications of the ACM, Heft 26(6), S. 445–449 (1993).

Sauerwald, Markus J., Mindmapping als Visualisierungsmethode in der juristischen Praxis. In: Schweighofer/Geist/Heindl (Hrsg.), Tagungsband des 10. Internationalen Rechtsinformatik Symposions IRIS 2007, Salzburg, S. 480-485 (2007).

Stufflebeam, Daniel L., The 21st-century CIPP model: Origins, development, and use. In: Alkin (Hrsg.), Evaluation roots: Tracing theorists’ views and influences, SAGE, Thousand Oaks, California, USA, S. 245-266 (2004).

Thomas, Oliver, Das Modellverständnis in der Wirtschaftsinformatik: Historie, Literaturanalyse und Begriffsexplikation. In: Scheer (Hrsg.), Arbeitsbericht des Instituts für Wirtschaftsinformatik (IWi) im Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI), Heft 184, Saarbrücken (2005).

Tobler, Christa/Beglinger, Jacques, Das EUR-Charts-Projekt oder: The Making of «Essential EC Law in Charts» – Visualisierung eines Rechtsgebietes am Beispiel des Rechts der Europäischen Union. In: Schweighofer/Geist/Heindl/Szücs (Hrsg.), Tagungsband des 11. Internationalen Rechtsinformatik Symposions IRIS 2008, Salzburg, S. 531-539 (2008).

Walser Kessel, Caroline, «Kennst du das Recht?» – Eine Visualisierung des Rechts für Kinder ab 12 Jahren und Jugendliche. In: Schweighofer/Kummer (Hrsg.), Europäische Projektkultur als Beitrag zur Rationalisierung des Rechts, Tagungsband des 14. Internationalen Rechtsinformatik Symposions IRIS 2011, Wien, S. 593-602 (2011).

 

---

 

Marcel Heddier, Wissenschaftlicher Mitarbeiter, Universität Münster, European Research Center for Information Systems (ERCIS).

 

Ralf Knackstedt, Privat-Dozent, Vertretung der Professur für Wirtschaftsinformatik, Stiftung Universität Hildesheim, Institut für Betriebswirtschaft und Wirtschaftsinformatik.

 

---