Die SEVAL-Jahrestagung 2009 widmete sich dem Thema «Evaluationsmethoden». Drei Impulsreferate und vier Workshops thematisierten diverse Spannungsfelder, denen Evaluationen ausgesetzt sind, deren Bedeutung für die Evaluationsmethodik und Möglichkeiten, um mit diesen Spannungsfeldern umzugehen. Politische und konzeptionelle Fragen oder exogene Rahmenbedingungen wie Ressourcenknappheit, Zeitdruck und Komplexität prägen Evaluationsprozesse meistens stärker als erkenntnistheoretische Methodenfragen und führen oft zu einem pragmatischen Vorgehen. Deshalb sind fundierte Methodenkenntnisse und ein gemeinsamer Austausch zwischen Evaluierenden und Auftraggebenden wichtig, damit Evaluationen einen hohen Nutzen bringen. [keine Übersetzung der Zusammenfassung auf Französisch]

Folgt man Wissenschaftstheoretikern wie Popper und Kuhn, hängen die Ergebnisse einer Evaluation immer auch von der Person des Evaluators ab sowie vom Kontext, in dem eine Evaluation stattfindet. Tatsächlich haben nicht nur diese Begleitumstände , sondern auch das begrenzte Knowhow der Evaluatoren sowie beschränkte Ressourcen einen Einfluss auf die Resultate, die bem Streben nach grösstmöglicher Objektivität anfallen. Aus den oftmals hohen Ansprüchen der Auftraggeber einerseits und diesen drei Faktoren – Erwartungen, zur Verfügung stehende Ressourcen und Kompetenzen der Evaluatorinnen und Evaluatoren – andererseits können Konflikte entstehen. Beispielsweise kann ein Auftraggeber fordern, dass die Schlussfolgerungen einer Evaluation stärker generalisiert werden, als dies aus wissenschaftlicher Sicht angezeigt ist. Es gilt somit, auftretende Spannungen zu verringern oder gar zu vermeiden. Dies kann erstens geschehen, indem Evaluator und Auftraggeber an verschiedenen Etappen im Evaluationsprozess Erwartungen, Ressourcen und die benötigten methodischen Ansätze verhandeln; zweitens, indem Evaluatorinnen und Evaluatoren innerhalb der wissenschaftlichen Gemeinde die jeweils geeignetsten Methoden und Regeln erörtern. / Apart from epistemological aspects, a number of practical factors related to expectations, resources, and competencies bias the selection and application of methods in the course of evaluation processes and thus the validity, objectivity and generalizability of the evaluation results. The article explores these factors and the various tensions between them, and discusses the challenges evaluators and evaluation commissioners have to face in order to avoid unsustainable truth claims and to be able to put evaluation findings into the right perspective. Negotiations with stakeholders or among peer evaluators are seen as two forms of quality control, which can become guide posts for conducting high-quality as well as context-bound evaluation. [keine Übersetzung der Zusammenfassung auf Französisch]

La présente contribution traite des différentes facettes de l'assurance-qualité et de l'évaluation en tant qu'instruments de pilotage interne et externe des hautes écoles. Dans la politique des hautes écoles, l'opinion prévaut actuellement que ces instruments servent dans une mesure importante à la justification d'objectifs fixés. Dans ce contexte, il convient de discuter des accents donnés à l'assurance-qualité et à l'évaluation dans les hautes écoles suisses et des défis méthodologiques à relever.

Dans le contexte actuel, les modalités de pilotage des politiques publiques doivent subir un certain nombre de transformations. Le recours systématique à des indicateurs pour saisir les problèmes, les analyser et fonder les décisions est au nombre de celles-ci. Si d’un point de vue théorique des modèles de pilotage basés sur des systèmes d’indicateurs existent, leur mise en oeuvre ne fait pas l’unanimité au sein des acteurs politico-administratifs pour des questions d’absence de ressources financières, de compétences méthodologiques, de temps, de crainte de perdre des marges de manoeuvre et de manque de confiance entre les différentes instances. Des ponts entre théorie et réalité existent cependant. Ils peuvent prendre la forme de sensibilisation, de formations ou de recherches. Dans ce contexte, la Société suisse d’évaluation, SEVAL, a un rôle indéniable à jouer.

Des restrictions temporelles et financières de même que le défaut de données font que souvent la procédure la plus adéquate du point de vue méthodologique ne peut guère être appliquée pour obtenir toutes les informations qui seraient nécessaires afin de répondre de manière complète et différenciée aux questions posées dans un projet d'évaluation. Les évaluateurs et évaluatrices sont alors contraints d'adopter une démarche pragmatique, ce qui constitue un défi s'ils veulent garantir à leurs mandants une évaluation qui leur soit utile et satisfasse aux critères de qualité méthodologique. La présente contribution traite de cette problématique des points de vue du mandant et de l'évaluateur et décrit quelques pistes qui doivent permettre de mener des évaluations aussi complètes que possible et de qualité suffisante malgré des ressources limitées. Dans ce contexte, les standards SEVAL servent d'instruments d'assurance-qualité.

On constate que l'évaluation des interventions dans les systèmes sociaux est de plus en plus demandée. On attend de l'évaluation d'une part, qu'elle démontre les effets d'une manière claire et permettant d'en généraliser les conclusions alors que d'autre part, la complexité des systèmes sociaux semble rendre cette mission impossible. Dans la théorie comme dans la pratique, on a pris conscience de ce dilemme et on en discute sans que des solutions satisfaisantes aient pu être trouvées à ce jour. La présente contribution se fonde sur des réflexions théoriques quant à la complexité des systèmes sociaux et esquisse des pistes devant permettre d'appréhender cette complexité dans le cadre de l'évaluation.

Dans les actes législatifs suisses, on rencontre de très nombreux renvois directs à des dispositions du droit de l’Union européenne. Les titres des actes législatifs européens sont fréquemment longs et compliqués, de sorte que leur citation dans le droit suisse peut poser des problèmes de lisibilité. La problématique des renvois s'est encore accentuée par le fait que le Journal officiel de l'UE ne fait plus que des renvois dynamiques aux règles de droit de l'Union européenne, ce qui pourrait donner lieu de penser, à tort, que la Suisse aurait repris cette pratique. La Chancellerie fédérale et l'Office fédéral de la justice ont élaboré ensemble un aide-mémoire qui propose des solutions aux problèmes rédactionnels et de technique législative que posent les renvois au droit de l’UE. Le recours à des renvois sous une forme abrégée permet de délester les normes du droit suisse d’éléments inutiles. La présente contribution donne quelques exemples concrets fondés sur l'aide-mémoire précité.