Tagung `Gute Evaluationen für das Bildungswesen´

Am Mittwoch, den 3. November 2010 wird durch das Institut für Weiterbildung und Beratung der Pädagogischen Hochschule, Fachhochschule Nordwestschweiz in Aarau eine Tagung zu Standards für Evaluationen im Bildungswesen durchgeführt. Unter anderem wird in diesem Kontext die Neufassung der Evaluationsstandards des amerikanischen "Joint Committee on Standards for Educational Evaluation" durch dessen Vorsitzenden Donald Yarbrough vorgestellt und diskutiert.
Mehr Informationen zur Veranstaltung und zur Anmeldung finden Sie hier. 

Rezension zu `Dokumentarische Evaluationsforschung´

Ende Juni erschien auf socialnet.de eine Rezension von Susanne Mäder zur Publikation `Dokumentarische Evaluationsforschung´. Dieses jüngst durch Ralf Bohnsack und Iris Nentwig-Gesemann herausgegebene Buch vereint Autorenbeiträge rund um den Einsatz der dokumentarischen Methode der Interpretation qualitativer Daten in der Evaluation. Dabei werden teils methodologische Grundlagen erläutert, teils Erfahrungen aus der Praxis reflektiert. Susanne Mäder kommt zu dem Schluss, dass das Buch eine ausführliche Einführung in die Methode liefert und gute Anregungen zu ihrem Einsatz in der Evaluationspraxis sowie ihrer Weiterentwicklung liefert. Allerdings offenbaren sich auch Herausforderungen, wie bspw. den hohen mit der dokumentarischen Auswertung verbundenen Zeitaufwand. Hier finden Sie die Rezension.

Univation nutzt die dokumentarische Methode erstmals in der Auswertung von Gruppendiskussionen mit Zielpersonen von Modellprojekten im Rahmen der Wissenschaftlichen Begleitung des Themenclusters `Früh ansetzende Prävention´ des Programms `Vielfalt tut gut´. Hierbei kooperiert Univation mit dem centrum für qualitative evaluations- und sozialforschung e.v. (ces). Informationen zur Wissenschaftlichen Begleitung finden Sie hier. 

Veröffentlichungen zur Evaluation der Servicehelfer-Ausbildung

Seit April 2008 evaluiert Univation im Auftrag der Robert Bosch Stiftung eine Modellausbildung zum/zur Servicehelfer/-in im Sozial- und Gesundheitswesen. Diese richtet sich an junge Menschen mit Hauptschulabschluss und will ihnen die Möglichkeit einer Berufsausbildung und ggf. Einmündung in den Praxisbereich der Alltagsbegleitung und Pflege ermöglichen. (Informationen zur Evaluation der Modellausbildung)
Akutell erscheinen zwei Publikationen, die Ergebnisse der Evaluation enthalten:

- Ein zweiter Band Arbeitsmaterialien zum Curriculum und Empfehlungen für die Umsetzung der Ausbildung (Informationen auf der Homepage der Robert Bosch Stiftung)

- Ein Artikel von Prof. Dr. Annette Riedel und Susanne Mäder in der Fachzeitschrift für Pflegepädagogik "PADUA" (Ausgabe 03/2010); Titel: "Curriculare Entwicklung der Ausbildung zum/zur Servicehelfer/-in im Sozial- und Gesundheitswesen". (Informationen auf der Homepage des Verlags)
Im Artikel wird zunächst der Ausbildungsgang mit seinen Grundlagen, seinem Kompetenzmodell, der Abgrenzung zu anderen Ausbildungsgängen sowie zentralen Herausforderungen, die aus der besonderen Zielgruppe der Ausbildung (junge Menschen mit Migrationshintergrund, Schulmüdigkeit etc.) resultieren, vorgestellt. Dann werden die zentralen Ergebnisse der Evaluation zu förderlichen Faktoren der Ausbildung an den Lernorten Schule und Praxis zusammengefasst.  

Ein starkes Buch zur Outcome-Evaluation

… erinnert an unsere  Herkunft und weist Wege in die Zukunft

Das Evaluationsverständnis von Univation hat sich in den 1990er Jahren herausgebildet. Damals wurde das Thema Evaluation und Selbstevaluation in der Kinder- und Jugendhilfe durch den damaligen Grundsatzreferenten für den Kinder- und Jugendplan der Bundesregierung, Wennemar Scherrer, auf die Tagesordnung gesetzt. Vielen aus Politik, Verbänden und Wissenschaft erschien sein Drängen darauf, dass öffentliche Mittel sich in nachweisbaren Veränderungen und Vorteilen für die Zielgruppen niederschlagen müssen, visonär. Gewünschte Veränderungen und Vorteile für Zielgruppen bezeichnet man heute als "Outcomes", das messen der Zielerreichung als "Outcome-Measurement ".

Mit einer Förderung aus dem Kinder- und Jugendplan konnten wir - damals zusammen mit Prof. Maja Heiner von der Universität Tübingen – Robert Stake und Michael Patton zu Workshops nach Deutschland einladen. Sie haben demonstriert, was es heißt, Evaluation in den Dienst der Programme und letztlich deren Zielgruppen zu stellen.

Diese Ideen haben den Pfad der nutzungsfokussierten Evaluation vorgezeichnet: Den Auftraggebenden, den Programmverantwortlichen  und weiteren relevanten Stakholdern diejenigen Informationen und Bewertungen zur Verfügung zu stellen, die sie für die Weiterentwicklung ihrer Programme benötigen. Oft wirken wir auch mit, Programme evaluierbar zu machen, d. h. Ziele zu schärfen, auf ihre Bedarfsgerechtigkeit zu prüfen und die Interventionsbündel auf die Ziele hin abzustimmen. Dies kann man auch Wirkungsorientierung oder Outcome-Orientierung nennen.

Der Programmbaum ist eine Metapher und ein Hilfsmittel, die Logik eines Programms zu entwickeln und zu schärfen. Schliesslich sind wir überzeugt, dass es mehr und mehr darum geht, evaluatives Denken in die Programme und Projekte "einzubauen". Relevante Daten entstehen so als Beiprodukt der sozialen oder pädagogischen Dienstleitungen: Datenerhebung ist nicht mehr Zusatzaufwand sondern integrierter Bestandteil des fachlichen Handelns.

Eine Überraschung bietet das Buch von Liz Hoggarth und Hilary Comfort aus dem englischen Birmingham, das diese Evaluationsprinzipien - und -methoden auf dem Hintergrund reicher Erfahrungen systematisch und für die Adressatengruppe der Programmverantwortlichen aufbereitet. In weiten Teilen entspricht "Outcome-Evaluation" unserem Evaluationsverständnis. Das Buch zeigt, wie nutzungsfokussierte Evaluation konsequent und ethisch reflektiert umgesetzt werden kann.

Mehr finden Sie in der Rezension auf www.socialnet.de 
http://www.socialnet.de/rezensionen/9296.php

Signifikanztests in der Evaluation

Im Team von Univation wird seit längerem darüber diskutiert, wann Signifikanztests gerechnet und in Berichten ausgewiesen werden sollen.
Die hierzu erarbeitete Position ist nach Einholen von Expertise von Kooperationspartnern und Statistik-Fachleuten zu einem Papier verarbeitet worden, das wir der Fachöffentlichkeit vorstellen.

Eine Beteiligung an einer Diskussion im forum-evaluation kann dazu beitragen, die dort formulierte Stellungnahme kritisch zu überprüfen.

Hier finden Sie die Stellungnahme!

Evaluationen stützen häufig die Bewertung eines Programms darauf ab, welchen Unterschied es macht, sei es gegenüber der Ausgangssituation davor, oder gegenüber einer Vergleichsgruppe ohne Programmteilnahme.  Hierfür werden Aussagen zur Signifikanz von datenbasierten Ergebnissen gemacht. Das Wort Signifikanz hat zwei ganz verschiedene  Konnotationen: einmal statistisch, einmal praktisch. Diese beiden Terme werden zunächst geklärt. Irrtümlicherweise werden oft für beide Sachverhalte statistische Signifikanztests berechnet und in Evaluationsberichten ausgewiesen. Dieser Beitrag klärt, unter welchen Umständen solche Testverfahren der schließenden  Statistik sinnvoll und zulässig sind und formuliert hierfür schrittweise anwendbare Regeln, deren Einhaltung zu genaueren und glaubwürdigeren Evaluationen beiträgt. Abschließend wird kurz angesprochen, wie praktische Signifikanz oder Bedeutsamkeit bestimmt werden kann.

Im Anhang finden sich die Definitionen der knapp 50 verwendeten Fachbegriffe in der Version des aktuellen Glossars aus "Das A-B-C der wirkungsorientierten Evaluation"

Rezension zu Strahm: Qualität durch systematisches Feedback.

Aktuell erschien eine Rezension von Wolfgang Beywl auf socialnet zum Buchvon Peter Strahm "Qualität durch systematisches Feedback. Grundlagen, Einblicke und Werkzeuge."
Die Publikation beschäftigt sich mit der Frage, wie schulisches Qualitätsmanagement, Feedback sowie Instrumente der Datenerhebung und Berichterstattung dazu beitragen können, dass der Unterricht und auch Lehren und Lernen auf Ebene der Gesamtschule gut gestaltet sind. Wolfgang Beywl kommt zu dem Fazit, dass die Veröffentlichung insbesondere dort mit Erfolg eingesetzt werden kann, wo seitens der Unterrichtenden gegenüber Evaluationen Unverständnis oder gar offener Widerstand besteht. Hier kann aufgezeigt werden, wie Feedback und Evaluation in eine partizipative und wertschätzende Schulkultur eingebunden werden können.

Die Rezension finden Sie hier.

Dokumentation der DJI-Fachtagung zu logischen Modellen

Im Dezember 2009 trafen sich in Fulda auf Einladung des DJI-Projekts eXe Evaluationspraktikerinnen und -praktiker, um sich über die verschiedenen Nutzungsmöglichkeiten von logischen Modellen und Programmtheorien sowie ihre eigenen Erfahrungen hiermit auszutauschen. Es entstand eine anregende Diskussion, die stark von den umfangreichen praktischen Kenntnissen und Erfahrungen sowie von theoriegeleiteten Inputs der Teilnehmenden profitieren konnte. Auch Univation beteiligte sich in Person von Melanie Niestroj und Susanne Giel an der Veranstaltung und präsentierte beispielhaft den Umgang mit dem Univations-eigenen Instrument Programmbaum. Jetzt wurden die Präsentationen der Fachtagung veröffentlicht. Alle Informationen finden Sie hier. 

Schweizer Tabakpräventionsfonds nutzt Programmbaum für wirkungsorientierte Planung und Evaluation

Der Tabakpräventionsfonds der Schweiz (TPF) stellt das durch Wolfgang Beywl und Univation entwickelte logische Modell für die Planung und Evaluation von Präventionsprojekten zur Verfügung. Der »Programmbaum« soll bereits bei der Konzeptentwicklung und Einreichung von Fördergesuchen berücksichtigt werden. Damit soll für die geförderten Projekte ein verstärktes Wirkungsmanagement etabliert werden. Zum einen soll die Wirkfähigkeit der Projekte durch eine systematische, soweit möglich forschungsbasierte Planung gefördert werden. Zum anderen werden damit nützliche und genaue Projektevaluationen unterstützt. Der TPF gewinnt auf dieser Grundlage verlässliche Informationen über Erfolge sowie Erfolgsfaktoren der von ihm geförderten Maßnahmen und eine verbesserte Möglichkeit der wirkungsorientierten Förderung. Die interessierte fachpolitische und die allgemeine Öffentlichkeit soll über die Ergebnisse dieses wichtigen Aktionsfelds der Tabakprävention informiert werden. (mehr Informationen)

Um es Antragstellenden zu erleichtern, den Programmbaum in der Konzepterstellung und Evaluation zu nutzen, hat der TPF ein Informationsangebot online gestellt (auf den Seiten des Schweizerischen Bundesamtes für Gesundheit). Hier werden der Programmbaum mit seinen Elementen vorgestellt (Link), es werden Hinweise zur Zielformulierung gegeben (Link) und es werden Beispiele aus dem Bereich der Tabakprävention aufgezeigt (Link). Darüber hinaus werden Hinweise und Quellen für die Umsetzung einer wirkungsorientierten Evaluation bereitgestellt (Link).

Weitere Informationen zum Instrument Programmbaum finden Sie hier.

 

Neuauflage Glossar wirkungsorientierter Evaluation

Bereits 2004 veröffentlichte Univation ein Glossar wirkungsorientierter Evalulation mit vielen zentralen Begriffen der Evaluationsfachsprache. Aktuell erschien nun eine zweite, vollständig bearbeitete und ergänzte Neuauflage mit der doppelten Anzahl definierter Begriffe und ergänzenden Literaturhinweisen zur vertieften Beschäftigung. Hier finden Sie mehr zur Publikation und zu den Bestellmöglichkeiten.

Zur Lizensierung von Evaluierenden

Die Professionalisierung innerhalb der Evaluation ist seit vielen Jahren ein Anliegen von Wolfgang Beywl, dem wissenschaftlichen Leiter von Univation. Auch die Frage, ob Evaluierende lizensiert oder zertifiziert werden sollen und können, gehört dazu. Immer wieder regt er die Fachcommunity an, solche und ähnliche Fragen zu diskutieren. Auch der Arbeitskreis Aus- und Weiterbildung in der Evaluation der Gesellschaft für Evaluation (DeGEval) fördert die Diskussion zu diesen Fragen und sucht nach Antworten. Jetzt wurde ein Beitrag zum Download bereit gestellt, der im Heft 1/2009 der Zeitschrift für Evaluation erschienen ist, mit dem Titel `Erstmals Evaluatorinnen lizensiert - ein professionspolitisches Thema?´. Hier finden Sie den Artikel und weitere Informationen zum Arbeitskreis.

Relativitätstheorie der Evaluation

Elemente des Programmbaums zum Download

Univation stellt unter dem Menüpunkt `Werkzeuge für die Evaluation´ sein logisches Programmmodell `Programmbaum´ vor. Seine Elemente werden erläutert und mit Beispielen veranschaulicht. Literatur zur vertieften Erläuterung steht zum Download bereit.
Jetzt können Interessierte auch auf die Abbildung des Programmbaums sowie seine einzelnen Elemente zugreifen: Alle Grafiken wurden im GIF-Format zum Download bereitgestellt. (mehr)

Ergebnisse der Evaluation des 2. Kölner Marktplatzes Gute Geschäfte

Die Ergebnisse der Evaluation des zweiten Kölner Marktplatzes Gute Geschäfte liegen vor und stehen zum Download bereit.
Mit den Marktplätzen fördert die Bertelsmann Stiftung die Kooperation zwischen Wirtschaft, zivilgesellschaftlichen Organisationen und öffentlicher Hand im lokalen Umfeld. In Deutschland wurden mittlerweile in 25 Städten teils bereits mehrmalig Marktplätze ausgerichtet. Univation evaluierte die zweite Umsetzung in Köln am 30.Oktober 2008. Mehr zur Evaluation und den Ergebnissen.