Details
Study title
Institutional embedding and use of evaluations. Practice and use of evaluations in the Swiss Federal Administration
Ref study 8819
Study language German
Contributing institutions
Authors
Keywords
  • Evaluation
  • Bundesverwaltung
  • Institutionelle Verwendung
  • Verankerung
Disciplines
Period
1999 bis 2002.
Geographical space
Schweizerische Bundesverwaltung, Regierung und Aufsichtsorgane
Country
  • Switzerland
Abstract
For more than twenty years, the topic of the use of evaluations has been one of the central topics of the theoretical discussion in evaluation science. In recent times, this discourse has been shaped by the development of an integrated theory of the use and influence of evaluations. Empirical studies investigating the importance of influencing factors on use have been pushed into the background. The growing gap between increasingly differentiated theory development on the one hand and narrow empirical basis on the other hand applies in particular to the analysis of the influence of institutional arrangements in the planning and implementation of evaluations on their use. Should evaluations, in order to be useful, for example, aim for close contact between evaluators and those being evaluated? Or does a high degree of independence between the two actors in the evaluation process tend to lead to the use of evaluation results in practice? The few published findings on these and similar questions are usually based on specific practical experience. Systematic studies are lacking. The Swiss National Science Foundation therefore financed a study carried out by Andreas Balthasar, which intended to close this gap. It examines the influence of the institutional arrangement in which an evaluation is carried out on its use.
Results
Das vorliegende Datenmaterial erlaubte es, die Verbreitung der Evaluationsaktivitäten und die Verwendung von Evaluationsergebnissen beim Bund detailliert zu beschreiben und zu analysieren. Wie ist der Umfang der Evaluationstätigkeit beim Bund zu beurteilen? Die Untersuchung stellte fest, dass 1999 bis 2002 auf Bundesebene jährlich rund 80 Evaluationen durchgeführt wurden. Die grosse Zahl der identifizierten Evaluationen darf nicht über die Tatsache hinwegtäuschen, dass die institutionelle Verankerung der Evaluation in der schweizerischen Bundesverwaltung sehr unterschiedlich ist.
Die Befragung lässt auch den Schluss zu, dass die schweizerische Bundesverwaltung zwischen 1999 und 2002 wesentlich weniger für Evaluationen ausgegeben hat, als beispielsweise die Europäische Gemeinschaft. Aus den Antworten auf die Befragung lässt sich errechnen, dass der Bund jährlich rund acht Millionen Franken in Evaluationen investiert hat. Dieser Betrag entspricht rund 0.02 Prozent der Ausgaben der Eidgenossenschaft in diesen Jahren. Diese Aufwendungen liegen unterhalb derjenigen der Europäischen Gemeinschaft. Diese gab in den letzten Jahren zwischen 100 und 150 Millionen Euro für Evaluationen aus, was zwischen 0.09 und 0.14 Prozent des EU Haushalts ausmachte.

Wurden die Evaluationsresultate verwendet?
Die Untersuchung unterscheidet zwischen instrumenteller, konzeptioneller, symbolischer, prozessbezogener und genereller Verwendung:
- Eine instrumentelle Verwendung liegt dann vor, wenn die formulierten Empfehlungen umgesetzt wurden. Bei knapp der Hälfte der Evaluationen schätzten die Evaluationsverantwortlichen diese Art der Verwendung als hoch oder eher hoch ein. Dieses Ergebnis wird durch eine neuere schweizerische Untersuchung bestätigt, welche festhielt, dass "direkte Rezeption und Nutzung deutlich häufiger festgestellt werden kann, als in der einschlägigen theoretischen Literatur behauptet".
- Die konzeptionelle Verwendung von Ergebnissen thematisierte den Einfluss der Evaluationen auf die grundsätzliche Einstellung der Verantwortlichen gegenüber der untersuchten Aktivität. Von den Evaluationsverantwortlichen gaben rund 54 Prozent an, dass die konzeptionelle Verwendung stark oder eher stark ausfiel.
- Eine prozessbezogene Verwendung findet statt, wenn die Beteiligten von der Durchführung der Untersuchung profitieren, indem zum Beispiel stabile Kontakte entstehen oder ein gemeinsames Problemverständnis entwickelt wird. Gemäss den Angaben der Evaluationsverantwortlichen war diese Art der Verwendung in rund 57 Prozent der Fälle stark oder eher stark.
- Über 50 Prozent der Evaluationsverantwortlichen schätzten die symbolische Verwendung als (eher) hoch ein. Angesprochen war damit die Frage nach der Legitimation, welche die Evaluation der untersuchten Aktivität verliehen hat.
- Schliesslich gingen knapp zwei Drittel der befragten Evaluationsverantwortlichen von einem hohen oder eher hohen Grad der generellen Verwendung der Untersuchung aus. Mit der "generelle Verwendung" haben wir eine zusammenfassende Einschätzung der Umsetzung abgefragt. Auch dieses Resultat ist im Vergleich zu anderen Studien überraschend hoch. Vermutlich hängt dieses Ergebnis zum Teil damit zusammen, dass Personen befragt wurden, welche für die Abwicklung der Evaluation Verantwortung trugen. Es kann aber auch vermutet werden, dass das Ausmass der Verwendung von Evaluationen in anderen, weniger systematisch angelegten Arbeiten tendenziell eher unterschätzt wurde.

Wie war die Distanz zwischen den Evaluierenden und den Evaluierten?
Im Zentrum der Untersuchung standen die Beschreibung und die Analyse des institutionellen Arrangements, in welchem die Evaluation entstanden ist. Dazu haben wir erhoben, ob zur Durchführung der Evaluation eine evaluationsverantwortliche Stelle einbezogen wurde, ob die Evaluation unabhängig von den Evaluierten finanziert, ausgelöst und durchgeführt wurde, ob der Evaluationsauftrag in einem wettbewerblichen Verfahren vergeben wurde und ob die Ergebnisse der Evaluation publiziert wurden. Auf der Basis dieser Faktoren liess sich ableiten, dass knapp 50 Prozent der Evaluationen in mittlerer Distanz zwischen Evaluierenden und Evaluierten durchgeführt wurden. Gross war die institutionelle Distanz neben den Kontrollorganen des Bundes vor allem bei Bundesstellen, welche häufig Evaluationen durchführten. Überdurchschnittlich häufig in kleiner Distanz wurden die Evaluationen in jenen Verwaltungseinheiten durchgeführt, welche nur wenige Evaluationen auswiesen.

Wovon hing die Verwendung ab?
Unsere Analysen betonen die Bedeutung der Integration der potenziellen Nutzenden in den Evaluationsprozess von der Planung bis zum Abschluss der Untersuchung. Die aktive Mitwirkung der potenziellen Nutzenden an der Evaluation ist für die Verwendung zentral. Evaluationen müssen den Bedürfnissen der Nutzenden bezüglich Fragestellung, Methodik, Zeitplan und Sprache entgegenkommen, wenn sie Verwendung finden wollen. Institutionelle Arrangements mit einer hohen Distanz zwischen Evaluierenden und Evaluierten senken die Chancen dieser Arten der Verwendung von Evaluationen. Damit bestätigt und differenziert die Untersuchung Hypothesen der interaktionistischen Evaluationstheorien. Sie unterstreicht den grossen Einfluss prozeduraler Aspekte auf die Verwendung von Evaluationen. Notwendige Bedingung für die Verwendung ist die Orientierung der Evaluation an den Bedürfnissen der potenziellen Nutzenden. Der Einbezug der Akteure ist zentral, wenn Evaluationsresultate auch verwendet werden sollen. Evaluationen, welche darauf ausgerichtet sind, Informationen bereitzustellen, welche den potenziellen Nutzenden helfen, ihre Entscheidungen zu fällen, haben die besten Chancen, verwendet zu werden. Die Untersuchung stellt die Verwendung der Evaluationen ins Zentrum des Erkenntnisinteressens. Dies bedeutet, dass normative Motive zur Durchführung derartiger Untersuchungen, im Hintergrund stehen. Normative Überlegungen, wie die Absicht der Stärkung der Demokratie und der Transparenz über Verwaltungsabläufe, können ausserhalb der Verwendungsperspektive Begründungen zur Durchführung von Evaluationen liefern.
Methods (description)
Die Studie hat zwei wesentliche methodische Grundlagen: Auf der einen Seite basiert sie auf zehn ausführlichen Fallstudien von Evaluationen der Bundesverwaltung. Sie dokumentiert und analysiert die Entstehungsgeschichte, den Ablauf und die Verwendung von Evaluationen, welche unter ganz unterschiedlichen Rahmenbedingungen durchgeführt wurden. Die Fallstudien wurden mit der Methodik "Quantitative Comparative Analysis" ausgewertet. Die Ergebnisse wurden Mitte 2006 in Evaluation publiziert. Auf der anderen Seite wurde eine Breitenbefragung bei allen 1999 bis 2002 abgeschlossenen Evaluationen des Bundes durchgeführt. Die 2004 durchgeführte Befragung erzielte einen sehr hohen Rücklauf, so dass für 278 dieser Studien auswertbare Fragebogen zur Verfügung standen. Die gesamten Ergebnisse wurden 2007 in Buchform publiziert.
Erhebungsverfahren: Standardisierte Befragung schriftlich
Erhebungseinheiten: Grundgesamtheit: Befragung der Projektverantwortlichen sowie der potenziellen Nutzenden aller 347 von uns identifizierten Evaluationen der Schweizer Bundesverwaltung sowie von Regierung und Aufsichtsorganen der Jahre 1999 bis 2002.
Auswahlverfahren: Vollerhebung
Anzahl Untersuchungseinheiten: Rücklaufquote 1. Stufe: 91.4 Prozent, Rücklaufquote 2. Stufe: 74.6 Prozent
Untersuchungsdesign: Schriftliche Befragung (Querschnittsbefragung, Vollerhebung)
Durchführung der Feldarbeit: Durch den Projektleiter selber

Erhebungsverfahren: Qualitatives Interview
Erhebungseinheiten: 10 Fallstudien
Auswahlverfahren: Zufällige Stichprobe aus drei vorher bestimmten Gruppen. Zudem sollten alle massgeblichen Kontrollorgane des Bundes (Eidgenössische Finanzkontrolle und die Parlamentarische Verwaltungskontrolle) sowie alle sieben Departemente vertreten sein.
Untersuchungsdesign: Fallstudien
Durchführung der Feldarbeit: Durch den Projektleiter selber
Methods (instruments)
Publications
  • Balthasar, Andreas. 2007. Institutionelle Verankerung und Verwendung von Evaluationen. Praxis und Verwendung von Evaluationen in der schweizerischen Bundesverwaltung. Zürich, 2007.
  • Balthasar, Andreas. 2006. The Effects of the Institutional Design of the Utilization of Evaluation: Evidenced Using Qualitative Comparative Analysis (QCA). In: The International Journal of Theory, Research and Practice, 12(3), 2006, London.
Unpublished documents
  • Balthasar, Andreas. 2004. The Effects of the Institutional Context of the Agency Responsible for Allocating Evaluations on the Utilization of Evaluation Results: Evidenced Using Qualitative Comparative Analysis (QCA). Paper presented at the 6th biennial conference of the European Evaluation Society on Governance, Democracy and Evaluation, Berlin, Germany, 30 September - 2 October 2004.
Financed by
Study type
Data availability
Source (Updates) Web
Date created 04.05.2018
Date modified 04.05.2018
Start - End date 01.01.2002 - 28.12.2006