Die SEVAL-Jahrestagung 2009 widmete sich dem Thema «Evaluationsmethoden». Drei Impulsreferate und vier Workshops thematisierten diverse Spannungsfelder, denen Evaluationen ausgesetzt sind, deren Bedeutung für die Evaluationsmethodik und Möglichkeiten, um mit diesen Spannungsfeldern umzugehen. Politische und konzeptionelle Fragen oder exogene Rahmenbedingungen wie Ressourcenknappheit, Zeitdruck und Komplexität prägen Evaluationsprozesse meistens stärker als erkenntnistheoretische Methodenfragen und führen oft zu einem pragmatischen Vorgehen. Deshalb sind fundierte Methodenkenntnisse und ein gemeinsamer Austausch zwischen Evaluierenden und Auftraggebenden wichtig, damit Evaluationen einen hohen Nutzen bringen. [keine Übersetzung der Zusammenfassung auf Französisch]

Folgt man Wissenschaftstheoretikern wie Popper und Kuhn, hängen die Ergebnisse einer Evaluation immer auch von der Person des Evaluators ab sowie vom Kontext, in dem eine Evaluation stattfindet. Tatsächlich haben nicht nur diese Begleitumstände , sondern auch das begrenzte Knowhow der Evaluatoren sowie beschränkte Ressourcen einen Einfluss auf die Resultate, die bem Streben nach grösstmöglicher Objektivität anfallen. Aus den oftmals hohen Ansprüchen der Auftraggeber einerseits und diesen drei Faktoren – Erwartungen, zur Verfügung stehende Ressourcen und Kompetenzen der Evaluatorinnen und Evaluatoren – andererseits können Konflikte entstehen. Beispielsweise kann ein Auftraggeber fordern, dass die Schlussfolgerungen einer Evaluation stärker generalisiert werden, als dies aus wissenschaftlicher Sicht angezeigt ist. Es gilt somit, auftretende Spannungen zu verringern oder gar zu vermeiden. Dies kann erstens geschehen, indem Evaluator und Auftraggeber an verschiedenen Etappen im Evaluationsprozess Erwartungen, Ressourcen und die benötigten methodischen Ansätze verhandeln; zweitens, indem Evaluatorinnen und Evaluatoren innerhalb der wissenschaftlichen Gemeinde die jeweils geeignetsten Methoden und Regeln erörtern. / Apart from epistemological aspects, a number of practical factors related to expectations, resources, and competencies bias the selection and application of methods in the course of evaluation processes and thus the validity, objectivity and generalizability of the evaluation results. The article explores these factors and the various tensions between them, and discusses the challenges evaluators and evaluation commissioners have to face in order to avoid unsustainable truth claims and to be able to put evaluation findings into the right perspective. Negotiations with stakeholders or among peer evaluators are seen as two forms of quality control, which can become guide posts for conducting high-quality as well as context-bound evaluation. [keine Übersetzung der Zusammenfassung auf Französisch]

Der Beitrag diskutiert die Facetten von Qualitätssicherung und Evaluation als Instrumente der internen und externen Steuerung von Hochschulen. In der gegenwärtigen hochschulpolitischen Auffassung übernehmen diese eine wichtige Funktion für legitimatorische Zwecke. Vor diesem Hintergrund wird die Frage diskutiert, in welchen Akzentuierungen Qualitätssicherung und Evaluation an Schweizer Hochschulen anzutreffen sind und welche methodischen Herausforderungen sich dabei stellen.

Die Steuerung von politischen Programmen muss erneuert und dem heutigen Kontext angepasst werden, der unter anderem von einem gesellschaftlichen und institutionellen Wandel, knappen Ressourcen und der Entwicklung der Informationssysteme geprägt ist. Zu den Neuerungen zählt die systematische Verwendung von Kennzahlen, die es den Politikerinnen und Politikern, der Regierung und den Behörden ermöglichen, die Probleme zu erfassen und zu analysieren und die gewählten Lösungen zu begründen. In der Theorie gibt es Modelle für die Steuerung von politischen Programmen mit Hilfe eines Kennzahlensystems. Ob, und wenn ja, wie solche Modelle umgesetzt werden sollen, ist eine Frage, in der sich die Akteurinnen und Akteure in Politik und Verwaltung jedoch nicht einig sind; Grund dafür sind fehlende finanzielle Mittel, Fragen des methodologischen Knowhows, die zur Verfügung stehende Zeit, die Befürchtung, dass der eigene Handlungsspielraum eingeengt wird sowie mangelndes Vertrauen zwischen den verschiedenen Instanzen. Zwischen Theorie und Praxis können aber durchaus Brücken geschlagen werden, sei es durch Sensibilisierung, mit Hilfe von Aus- und Weiterbildungen oder mit Forschungsarbeiten. Hier spielt die SEVAL eine wichtige Rolle.

Bei der Realisierung von Evaluationen ist es wegen zeitlicher und finanziellen Restriktionen sowie Problemen der Datenverfügbarkeit oft kaum möglich, die aus methodologischer Sicht am besten geeigneten Verfahren einzusetzen, um die zur vollständigen und differenzierten Beantwortung der aufgeworfenen Evaluationsfragen notwendigen Informationen zu gewinnen. Evaluierende sind deshalb in methodischer Hinsicht oft zu einem pragmatischen Vorgehen gezwungen. Unter solchen Umständen methodische Qualität und hohe Nützlichkeit der Evaluation für den Auftraggeber sicherzustellen, kann jedoch eine Herausforderung darstellen. Der vorliegende Beitrag thematisiert dieses Spannungsfeld aus Sicht eines Auftraggebers und eines Evaluators und zeigt Wege auf, wie trotz beschränkten Ressourcen möglichst umfassende und qualitativ genügende Evaluationen durchgeführt werden können. Dabei kommt den SEVAL-Standards als Qualitätssicherungsinstrument eine gewisse Bedeutung zu.

Die Evaluation von Interventionen in sozialen Systemen ist gefordert. Einerseits werden von ihr klare und möglichst generalisierbare Wirkungsnachweise verlangt, andererseits scheint die Komplexität sozialer Systeme gerade dies zu verunmöglichen. Sowohl in der Theorie als auch in der Praxis wird dieses Spannungsfeld zunehmend erkannt und diskutiert, wobei befriedigende Konzepte zum Umgang mit diesem Dilemma noch weitgehend fehlen. Ausgehend von theoretischen Überlegungen zur Komplexität sozialer Systeme werden in diesem Artikel Herausforderungen für die Evaluation skizziert und Ansätze für einen angemessenen Umgang mit Komplexität reflektiert.

In Erlassen des schweizerischen Landesrechts kommen direkte Verweise auf Bestimmungen von EU-Rechtsakten sehr häufig vor. Die Titel dieser Rechtsakte sind oft so lang und kompliziert, dass ihre Zitierung im Fliesstext einer landesrechtlichen Norm deren Verständlichkeit behindert. Seit Kurzem wird die Verweisproblematik noch dadurch verschärft, dass im Amtsblatt der EU nur noch dynamisch auf die eigenen Rechtsakte verwiesen wird; dies könnte zur irrigen Annahme verleiten, dass die Schweiz diese neue Verweispraxis übernehme. Ein von der Bundeskanzlei und vom Bundesamt für Justiz gemeinsam erarbeitetes Merkblatt bietet für die bei der Verweisung auf EU-Recht begegnenden redaktionellen und gesetzestechnischen Probleme Lösungen an. Dank dem neuen Grundsatz der Kurzform-Verweisung werden schweizerische Verweisnormen von unnötigem Ballast befreit. Der vorliegende Beitrag liefert einen auf konkrete Textbeispiele gestützten Hintergrund zu diesem Merkblatt.