Der Critical Friend Approach knüpft am aktuellen Evaluationsverständnis an und berücksichtigt zusätzlich empirische Ergebnisse der evaluationswissenschaftlichen Verwendungsforschung. Diese weisen darauf hin, dass die Nutzung von Evaluationsergebnissen stark vom Interesse der Programmverantwortlichen an der Evaluation abhängt.  

Bewähren sich die SEVAL-Standards in der Praxis? Dieser Frage widmet sich die Arbeitsgruppe Evaluationsstandards der SEVAL. Die Arbeitsgruppe stellt die Ergebnisse aus vier Fallstudien vor. Dabei zeigt sich unter anderem, dass die SEVAL-Standards primär implizit angewendet werden und die zur Verfügung stehenden Ressourcen dabei eine bedeutsame Rolle spielen.  

Bei der Umsetzung von politischen Programmen spielen Informations- und Beratungsleistungen häufig eine wichtige Rolle. Zielgruppen werden dabei in der Regel mit einer grossen Zahl von Massnahmen und Instrumenten angesprochen. Der vorliegende Beitrag zeigt eine Methode für eine standardisierte Bewertung solcher Leistungen auf.  

Der Artikel hat die Absicht, eine vertiefte Auseinandersetzung mit der Rolle von Evaluation in der Politikgestaltung der Kantone einzuleiten. Er stellt erstmalig Grundlagen zur Verbreitung von Evaluationen in den Kantonen zusammen und interpretiert diese auf der Grundlage von Hypothesen der Politikanalyse. Obwohl die Datenbasis noch wenig gefestigt ist, kommt er zum Schluss, dass in den Schweizer Kantonen überwiegend ein „opinion based policymaking“ dominiert. Nur eine Minderheit von Kantonen führt systematisch Evaluationen durch oder greift nach Angaben von befragten Experten regelmässig auf wissenschaftliche Studien zurück. 

Das Buch „Evaluationsforschung und ihre Anwendung in Schule und Bewegungsangeboten„ fokussiert die Selbstevaluation als Motor der Schulentwicklung. Im Einführungskapitel von Maud Hietzge und Andreas Balthasar wird auf verschiedene Grundlagen der Selbstevaluation von Schulen und Bewegungsangeboten eingegangen. Es ist dies zuerst die Frage nach den Zielen von Evaluation und Selbstevaluation. Danach werden theoretische Konzepte der Selbstevaluation vorgestellt und der Fächer für unterschiedliche Zugänge und Vorgehensweisen bei der Realisierung von Selbstevaluationen geöffnet. Es soll deutlich werden, dass es dabei nicht einen Königsweg gibt, sondern dass unterschiedliche Konzepte bestehen, die sich an unterschiedlichen Kontextbedingungen und Zielsetzungen orientieren. Weiter wird auf die möglichen Gegenstände von Evaluation eingegangen, um ungerechtfertigten Verkürzungen bereits in der Fragestellung vorzubeugen. Es werden auch die Qualitätskriterien von Evaluationen und die Erfolgsbedingungen von Selbstevaluationen thematisiert. Danach werden einige methodische Aspekte berührt, denn die Aussagekraft einer Evaluation hängt massgeblich von der Auswahl geeigneter Erhebungs- und Analysetechniken ab. Schliesslich wird auf die Ausgangsfrage eingegangen: Was tun wir mit den Ergebnissen von Evaluationen? 

Der Beitrag setzt sich mit der Verbreitung und Nutzung von Evaluationen in der schweizerischen Bundesverwaltung auseinander. Aufgrund einer umfangreichen Erhebung und Analyse aller zwischen 1999 und 2002 abgeschlossenen Evaluationen wird festgestellt, dass in der Schweiz auf nationaler Ebene eine rege Evaluationstätigkeit herrscht. Von einer flächendeckenden Evaluationskultur kann dennoch nicht gesprochen werden. Die Untersuchung zeigt weiter, dass Evaluationen vor allem von der Verwaltung häufig verwendet werden. Es wird im Beitrag auch deutlich gemacht, dass gewisse institutionelle Bedingungen die Verwendung von Evaluationen erleichtern. Dazu gehört die Evaluationskultur. 

Die offene Jugendarbeit steht unter wachsendem äusserem Rechtfertigungsdruck. Der Ruf nach Bewertung von Leistungen und Wirkungen, das heisst nach Evaluation der offenen Jugendarbeit wird immer lauter. Folgende Fragen stehen im Mittelpunkt: Welche Ziele haben Projekte der offenen Jugendarbeit? Welche Wirkungen werden damit angestossen? In welchem Zusammenhang stehen diese Fragen und welche Arten von Informationen sind notwendig, um die offene Jugendarbeit zu optimieren und zu sichern? Wie kann gemessen und bewertet werden, was offene Jugendarbeit macht und bewirkt? Wie und wem soll über die Wirksamkeit offener Jugendarbeit berichtet werden?

Mit dem wachsenden Interesse an der Institutionalisierung von Evaluation in der öffentlichen Verwaltung stellt sich die Frage nach Institutionalisierungsmodellen, die optimale Bedingungen für die Verwendung von Evaluationen bieten. Der vorliegende Beitrag geht dieser Frage nach. Dabei stützt er sich auf eine breit angelegte Untersuchung von mehr als 90 Prozent aller rund 300 Evaluationen, die die schweizerische Bundesverwaltung in den Jahren 1999 bis 2002 abgeschlossen hat. Die Datenauswertung schliesst deskriptive, bivariate sowie multivariate Analysen ein. Die Ergebnisse der Untersuchung zeigen, dassdie Verwendung von Evaluationen von einer Institutionalisierung profitiert, die die Distanz zwischen den Evaluierenden und den Nutzenden von Evaluationen gering hält. Demgegenüber gibt es kaum Belege dafür, dass sich die Chance auf Verwendung von Evaluationsergebnissen erhöht, wenn die Institutionalisierung Wert auf Distanz und Unabhängigkeit zwischen Evaluierenden und Evaluierten legt. 

Immer öfters werden Fragen nach der Relevanz, nach Qualität, Wirksamkeit und Wirtschaftlichkeit staatlichen Handelns gestellt. Antworten auf derartige Fragen werden von Evaluationen erwartet. Wie häufig werden aber die Empfehlungen derartiger Untersuchungen tatsächlich umgesetzt?

Andreas Balthasar hat den Einfluss der institutionellen Arrangements, in welchem eine Evaluation durchgeführt wird, auf deren Verwendung untersucht. Grundlage der Arbeit bilden auf der einen Seite zehn ausführliche Fallstudien von Evaluationen der Bundesverwaltung. Die Arbeit dokumentiert und analysiert die Entstehungsgeschichte, den Ablauf und die Verwendung von Evaluationen, welche unter ganz unterschiedlichen Rahmenbedingungen durchgeführt wurden. Auf der anderen Seite beruht sie auf der statistischen Auswertung von rund 90 Prozent aller rund 300 zwischen 1999 bis 2002 abgeschlossenen Evaluationen des Bundes. 

Beim Projekt Bahn 2000 handelt es sich um eine der grössten Investitionen in den öffentlichen Verkehr der letzten Jahre. Interface hat im Auftrag des Bundesamtes für Verkehr die konzeptionellen Grundlagen für die Evaluation dieses Vorhabens gelegt. Im Zentrum der geplanten Untersuchung sollen Veränderungen in den Reisezeiten und der Reiseattraktivität, Veränderungen in der Wahrnehmung des Angebotes durch die Kundinnen und Kunden sowie die verkehrlichen Wirkungen stehen. Dabei soll die gesamte Transportkette (Fern- und Regionalverkehr, Bahn und Bus) in die Analyse einbezogen werden. 

Ziele und Indikatoren bilden wichtige Elemente der wirkungsorientierten Verwaltungsführung FLAG (Führen mit Leistungsauftrag und Globalbudget). Interface hat dazu ein Handbuch erarbeitet. Darin wird Schritt für Schritt der Aufbau einer Leistungs- und Wirkungsmessung geschildert und gezeigt, wie Ziele und Indikatoren gesetzt werden können, um Leistungen und Wirkungen effektiv zu messen. Als Basis dient ein Konzept aus der Policy-Analyse und der Evaluation. Dieses wird praxis- und umsetzungsgerecht aufbereitet. 

Seit dem Start des Nationalen Forschungsprogramms 27 “Wirksamkeit staatlicher Massnahmen” sind gerade zehn Jahre vergangen. Seither sind zu verschiedenen Politikbereichen zahlreiche Evaluationen erarbeitet worden. Mit der Zunahme der Zahl der Evaluationen von einzelnen Massnahmen ist ein Bedürfnis nach einer Synthese der Evaluationsergebnisse entstanden. Dabei zeigte sich relativ bald, dass gehaltvolle Synthesen nur möglich sind, wenn die einzelnen Massnahmenevaluationen in ein Gesamtkonzept eingebunden sind. Auf welchen Grundpfeilern muss
nun ein Evaluationskonzept aufgebaut sein und welche Art von Synthesen sind möglich?  

Wie werden Evaluationen durchgeführt? Vereinfacht lässt sich der Weg der Evaluation von der Frage zur Antwort in die fünf Etappen Problembenennung, Wirkungsmodell, Untersuchungsdesign, Forschungstechnik und Umsetzung unterteilen. Die Abgrenzung der einzelnen Stufen erfolgt weniger chronologisch als funktionell. In der Regel muss man sich die Evaluationsforschung als Prozess vorstellen, bei welchem die verschiedenen Schritte überlappend bearbeitet werden.

Am Anfang jeder Evaluation stehen Fragen. Manchmal genügt es, wenn diese Fragen auf der Basis der vorhandenen Kenntnisse beantwortet werden. Oft sind jedoch ausgedehnte wissenschaftlich fundierte Evaluationen notwendig. Politikwissenschaftliche Evaluationen beabsichtigen die Beurteilung von Wirkungen staatlichen Handelns. Zudem muss eine anwendungsorientierte Evaluationsforschung nicht allein wissenschaftlichen Kriterien genügen, sondern auch zu Resultaten führen, die für die Praxis nützlich sind. Dadurch ergeben sich Eigenheiten, die eine spezifische Einführung in diesen Forschungszweig nahelegen.