Nützliche Materialien aus dem Bereich Evaluation

Signifikanztests in der Evaluation

Im Team von Univation wird seit längerem darüber diskutiert, wann Signifikanztests gerechnet und in Berichten ausgewiesen werden sollen.
Die hierzu erarbeitete Position ist nach Einholen von Expertise von Kooperationspartnern und Statistik-Fachleuten zu einem Papier verarbeitet worden, das wir der Fachöffentlichkeit vorstellen.

Eine Beteiligung an einer Diskussion im forum-evaluation kann dazu beitragen, die dort formulierte Stellungnahme kritisch zu überprüfen.

Hier finden Sie die Stellungnahme!

Eva die Evaluatorin - ein Evaluationsbilderbuch

Dies ist eine Geschichte, die heute vielen Eltern und ihren Kindern passiert: Die Kinder fragen, was die Eltern für einen Beruf haben. Eine kindgerechte Antwort darauf ist oft schwer. Das Bilderbuch baut eine Brücke für Eltern, die als ihren Beruf "Evaluator" oder "Evaluatorin" angeben. Es erzählt, wie Eva ihren Vater, einen weitgereisten Evaluator, ausfragt. Sie macht sich aus seinen Antworten eigene Bilder. Birgit Stadler hat sie in lebendigen Buntstiftzeichnungen festgehalten. Eva stösst auch auf die Schattenseiten des Berufs, verkörpert durch einige boshafte Figuren. Dem Vater hilft sie mit ihren Fragen, seinen Beruf zu erklären.

Literatur- und Forschungsdatenbanken in der Evaluation

Evaluatorinnen und Evaluatoren müssen oft in knapper Zeit Literatur und vorliegende Evaluationen/Forschungen zu speziellen Themen recherchieren. Dazu stehen im deutschsprachigen und insbesondere im englischsprachigen Raum zahlreiche Datenbanken zur Verfügung. Die vorliegende Sammlung von Datenbanken soll als Orientierungshilfe für die Suche nach evaluationsspezifischen Inhalten dienen und gleichzeitig Hinweise zur Weiterentwicklung der Datenbanken aus Sicht der Bedarfe der Evaluationsdisziplin geben.

Rund um den Evaluationsbegriff

Evaluation bezeichnet die systematische, datenbasierte Beschreibung und Bewertung von Programmen (z. B. Hilfe- oder Beratungskonzeptionen), zeitlich beschränkten Projekten (z. B. Modellvorhaben) oder Institutionen (z. B. Zulassung von Trägern) in Bildung, Sozialer Arbeit, Gesundheitswesen u. a..

Qualitätsdimensionen

Die fünf Dimensionen der Qualität wurden von Dr. Wolfgang Beywl 1996 veröffentlicht.

Dieser Link führt zu einer flash-animierten Version zum leichten Verständnis der Qualitätsdimensionen.

Fragen & Antworten

Wirkannahmen sind explizite oder implizite Vermutungen von Stakeholdern, insbesondere Programmzuständigen, zu programminternen Einflussbeziehungen, welche die Zielerreichung eines Programms ermöglichen, begünstigen oder hemmen. Sie beschreiben insbesondere die gedachten Verbindungen zwischen den Programmzielen und den darauf zugeschnittenen Interventionen und treffen ggf. Aussagen dazu, unter welchen Bedingungen diese zutreffen. Das Konzept eines Programms sollte neben Aussagen zu Zielen und Interventionen nach Möglichkeit auch solche zu Wirkannahmen enthalten. Wirkannahmen können, müssen aber nicht die strenge Form von Hypothesen annehmen, wie sie in der empirischen Sozialforschung gebräuchlich sind. Die grafische Darstellung aller Wirkannahmen eines Programms bildet dessen Wirkmodell, ein einzelner Wirkzusammenhang daraus einen Wirkstrang.
In der programmtheoriegesteuerten Evaluation sind Wirkannahmen unverzichtbarer Kernbestandteil, wobei diese hier vorrangig durch die Evaluierenden aus Theorien abgeleitet werden sollen.

engl.: rationales
frz.: supposition des effets

Glossar der Evaluation unter https://eval-wiki.org/glossar/Wirkannahmen

Ein Wirkmodell ist eine grafische Darstellung der Wirkannahmen im Sinne von gedachten/vermuteten Kausalbeziehungen zwischen Elementen eines Programms, insbesondere zwischen Interventionen und Outcomes (visualisiert meist durch Pfeile). Ein Wirkmodell ist Ergebnis einer Wirkungsmodellierung und beruht auf der Annahme, dass die gewünschten Resultate Wirkungen der Interventionen des Programms darstellen. Ein Bestandteil eines Wirkmodells kann ein einzelner Wirkstrang sein. (siehe auch logisches Modell, Programmtheorie)

engl.: causation model
frz.: model de causalité

Glossar der Evaluation unter https://eval-wiki.org/glossar/Wirkmodell

Eine Variable ist ein Symbol, das durch jedes Element einer spezifizierten Menge von Merkmalsausprägungen ersetzt werden kann. Die Variable "höchster Bildungsabschluss" kann beispielweise die Ausprägungen "ohne Schulabschluss", "Berufsbildungsreife", "Abitur", "Hochschulabschluss" und weitere haben. In einer Erhebungsmenge muss „Variation“ gegeben sein, um von Variablen zu sprechen, es muss also mindestens zwei mögliche Ausprägungen eines Merkmals geben. Andernfalls liegt eine „Konstante“ vor (z. B. wenn ausschließlich Teilnehmende mit der Nationalität „türkisch“ als Erhebungseinheiten vorkommen). Variablen im Rahmen der Evaluation spielen insbesondere in Wirkmodellen eine wichtige Rolle. Werden die Ausprägungen empirisch gemessen spricht man von Daten.

engl.: variable
frz.: variable

Glossar der Evaluation unter https://eval-wiki.org/glossar/Variable

Datenschutz in Evaluationen bezeichnet die Gesamtheit der Vorkehrungen, um die Personen, zu denen im Rahmen von Evaluationen personenbezogene Daten erzeugt, verarbeitet und/oder genutzt werden, vor Beeinträchtigungen ihrer Persönlichkeitsrechte zu schützen. Regelungen hierzu finden sich in nationalen und europäischen Gesetzen, darüber hinaus auch auf der Ebene der Länder und Kantone sowie in weiteren Gesetzen, außerdem in innerbetrieblichen Vereinbarungen. Bei der Evaluationsplanung sind in dem Falle, dass personenbezogene Daten (zu Merkmalen natürlicher Personen) genutzt werden sollen, die erforderlichen Erlaubnisse einzuholen, Verfahrensweisen für die Behandlung der Daten festzulegen und deren Beachtung sicherzustellen.

engl.: data privacy; data protection
frz.: protection des données

Glossar der Evaluation unter https://eval-wiki.org/glossar/Datenschutz


Mit Emergenz wird das Entstehen neuer Eigenschaften eines komplexen Systems aus dem Zusammenwirken seiner Elemente bezeichnet. Dabei sind die neuen Eigenschaften nicht voraussagbar, lassen sich aus den Eigenschaften der Elemente nicht ableiten. Übertragen auf ein Programm als Evaluationsgegenstand bedeutet dies im Extremfall, dass es sich im Verlauf seiner Durchführung unvorhersehbar entwickelt, dass fortlaufend Veränderungen bzw. Anpassungen im Programmkonzept erforderlich sind bzw. dieses erst während der Durchführung des Programms überhaupt entwickelt und ständig angepasst wird. M. Q. Patton schlägt für solche Programme vor, dass die Evaluation eine evolutive Rolle einnimmt.

engl.: emergence
frz.: émergence

Glossar der Evaluation unter https://eval-wiki.org/glossar/Emergenz_(eines_Programms)

Die evolutive Evaluation ist eine besondere Evaluationsrolle, welche die beiden klassischen Rollen der summativen und der formativen Evaluation ergänzt. Eine evolutive Evaluation verfolgt als Zweck die Entwicklung: Der Evaluationsgegenstand wird mit Unterstützung der Evaluation entwickelt, entweder in der Phase der Erarbeitung eines Programmkonzepts oder (im Falle stark komplexer, emergenter Programme) kontinuierlich begleitend zu seiner Durchführung.

engl.: evolutive evaluation ; developmental evaluation
frz.: évaluation évolutive

https://eval-wiki.org/glossar/Evolutive_Evaluation

Die formative Evaluation soll vor allem die Gestaltung des Evaluationsgegenstandes begleiten. Der Evaluationszweck liegt hier insbesondere in der Verbesserung des Gegenstands. Entgegen verbreiteter Auffassungen kann eine formative Evaluation nicht nur eine Bewertung des Prozesses eines Programmes vornehmen, sondern auch dessen Resultate bewerten.

engl.: formative evaluation
frz.: évaluation formative

https://eval-wiki.org/glossar/Formative_Evaluation

Die summative Evaluation soll vor allem bilanzierende Schlussfolgerungen über die Güte und/oder Tauglichkeit eines Evaluationsgegenstands hervorbringen. Zudem soll sie so konzipiert sein, dass darüber hinaus den für das Programm Zuständigen, den Finanziers usw. Grundlagen dafür bereit gestellt werden, zu entscheiden, ob das Programm beibehalten, erweitert, reduziert oder zurückgezogen werden soll. Ihr Evaluationszweck ist es damit häufig, grundlegende Entscheidungen über den Evaluationsgegenstand zu ermöglichen (Entscheidungsfindung). Entgegen verbreiteter Auffassungen kann eine summative Evaluation nicht nur eine Bewertung der Resultate eines Programms vornehmen, sondern auch seinen Prozess bewerten.

engl.: summative evaluation
frz.: évaluation sommative

www.eval-wiki.org/glossar/summative_evaluation

Eine ex-post-Evaluation setzt zeitlich nach der Durchführung eines Programms ein und richtet ihren Fokus überwiegend auf dessen Resultate. Somit handelt es sich dabei in der Regel um eine summative Evaluation, in Vorbereitung des nächsten Programmzyklus kann es sich auch um eine formative Evaluation handeln. Es soll offen gelegt werden, welche Ziele das Programm in welchem Umfang erreicht hat und evtl. auch, ob tatsächlich die vorgesehenen Wirkungen bei den Zielgruppen erreicht bzw. welche nicht-intendierten Resultate durch das Programm ausgelöst wurden. Eine ex-post-Evaluation kann direkt nach Beendigung eines Programms oder auch längere Zeit danach durchgeführt werden. In letzterem Fall kann die Nachhaltigkeit der Wirkungen besser eingeschätzt werden.

engl.: ex-post evaluation
frz.: évaluation rétrospective

www.eval-wiki.org/glossar/ex-post_evaluation

Bei einer dokumentierenden Evaluation wird laufend ein längerfristiger Kranz von Kennzahlen über den Verlauf des Programms bereitgestellt. Datenerhebungsmethoden hierfür sind festgeschrieben und möglichst weit in den Programmverlauf integriert. Das soll dazu dienen, die Güte und Tauglichkeit des Programms kontinuierlich mit angemessenem Aufwand zu überprüfen, um ggf. steuernd eingreifen zu können.

engl.: monitoring evaluation
frz.: évaluation de suivi

www.eval-wiki.org/glossar/dokumentierende_evaluation

Seiten