Nützliche Materialien aus dem Bereich Evaluation

Signifikanztests in der Evaluation

Im Team von Univation wird seit längerem darüber diskutiert, wann Signifikanztests gerechnet und in Berichten ausgewiesen werden sollen.
Die hierzu erarbeitete Position ist nach Einholen von Expertise von Kooperationspartnern und Statistik-Fachleuten zu einem Papier verarbeitet worden, das wir der Fachöffentlichkeit vorstellen.

Eine Beteiligung an einer Diskussion im forum-evaluation kann dazu beitragen, die dort formulierte Stellungnahme kritisch zu überprüfen.

Hier finden Sie die Stellungnahme!

Eva die Evaluatorin - ein Evaluationsbilderbuch

Dies ist eine Geschichte, die heute vielen Eltern und ihren Kindern passiert: Die Kinder fragen, was die Eltern für einen Beruf haben. Eine kindgerechte Antwort darauf ist oft schwer. Das Bilderbuch baut eine Brücke für Eltern, die als ihren Beruf "Evaluator" oder "Evaluatorin" angeben. Es erzählt, wie Eva ihren Vater, einen weitgereisten Evaluator, ausfragt. Sie macht sich aus seinen Antworten eigene Bilder. Birgit Stadler hat sie in lebendigen Buntstiftzeichnungen festgehalten. Eva stösst auch auf die Schattenseiten des Berufs, verkörpert durch einige boshafte Figuren. Dem Vater hilft sie mit ihren Fragen, seinen Beruf zu erklären.

Literatur- und Forschungsdatenbanken in der Evaluation

Evaluatorinnen und Evaluatoren müssen oft in knapper Zeit Literatur und vorliegende Evaluationen/Forschungen zu speziellen Themen recherchieren. Dazu stehen im deutschsprachigen und insbesondere im englischsprachigen Raum zahlreiche Datenbanken zur Verfügung. Die vorliegende Sammlung von Datenbanken soll als Orientierungshilfe für die Suche nach evaluationsspezifischen Inhalten dienen und gleichzeitig Hinweise zur Weiterentwicklung der Datenbanken aus Sicht der Bedarfe der Evaluationsdisziplin geben.

Rund um den Evaluationsbegriff

Evaluation bezeichnet die systematische, datenbasierte Beschreibung und Bewertung von Programmen (z. B. Hilfe- oder Beratungskonzeptionen), zeitlich beschränkten Projekten (z. B. Modellvorhaben) oder Institutionen (z. B. Zulassung von Trägern) in Bildung, Sozialer Arbeit, Gesundheitswesen u. a..

Qualitätsdimensionen

Die fünf Dimensionen der Qualität wurden von Dr. Wolfgang Beywl 1996 veröffentlicht.

Dieser Link führt zu einer flash-animierten Version zum leichten Verständnis der Qualitätsdimensionen.

Fragen & Antworten

Die evolutive Evaluation ist eine besondere Evaluationsrolle, welche die beiden klassischen Rollen der summativen und der formativen Evaluation ergänzt. Eine evolutive Evaluation verfolgt als Zweck die Entwicklung: Der Evaluationsgegenstand wird mit Unterstützung der Evaluation entwickelt, entweder in der Phase der Erarbeitung eines Programmkonzepts oder (im Falle stark komplexer, emergenter Programme) kontinuierlich begleitend zu seiner Durchführung.

engl.: evolutive evaluation ; developmental evaluation
frz.: évaluation évolutive

https://eval-wiki.org/glossar/Evolutive_Evaluation

Die formative Evaluation soll vor allem die Gestaltung des Evaluationsgegenstandes begleiten. Der Evaluationszweck liegt hier insbesondere in der Verbesserung des Gegenstands. Entgegen verbreiteter Auffassungen kann eine formative Evaluation nicht nur eine Bewertung des Prozesses eines Programmes vornehmen, sondern auch dessen Resultate bewerten.

engl.: formative evaluation
frz.: évaluation formative

https://eval-wiki.org/glossar/Formative_Evaluation

Die summative Evaluation soll vor allem bilanzierende Schlussfolgerungen über die Güte und/oder Tauglichkeit eines Evaluationsgegenstands hervorbringen. Zudem soll sie so konzipiert sein, dass darüber hinaus den für das Programm Zuständigen, den Finanziers usw. Grundlagen dafür bereit gestellt werden, zu entscheiden, ob das Programm beibehalten, erweitert, reduziert oder zurückgezogen werden soll. Ihr Evaluationszweck ist es damit häufig, grundlegende Entscheidungen über den Evaluationsgegenstand zu ermöglichen (Entscheidungsfindung). Entgegen verbreiteter Auffassungen kann eine summative Evaluation nicht nur eine Bewertung der Resultate eines Programms vornehmen, sondern auch seinen Prozess bewerten.

engl.: summative evaluation
frz.: évaluation sommative

www.eval-wiki.org/glossar/summative_evaluation

Eine ex-post-Evaluation setzt zeitlich nach der Durchführung eines Programms ein und richtet ihren Fokus überwiegend auf dessen Resultate. Somit handelt es sich dabei in der Regel um eine summative Evaluation, in Vorbereitung des nächsten Programmzyklus kann es sich auch um eine formative Evaluation handeln. Es soll offen gelegt werden, welche Ziele das Programm in welchem Umfang erreicht hat und evtl. auch, ob tatsächlich die vorgesehenen Wirkungen bei den Zielgruppen erreicht bzw. welche nicht-intendierten Resultate durch das Programm ausgelöst wurden. Eine ex-post-Evaluation kann direkt nach Beendigung eines Programms oder auch längere Zeit danach durchgeführt werden. In letzterem Fall kann die Nachhaltigkeit der Wirkungen besser eingeschätzt werden.

engl.: ex-post evaluation
frz.: évaluation rétrospective

www.eval-wiki.org/glossar/ex-post_evaluation

Bei einer dokumentierenden Evaluation wird laufend ein längerfristiger Kranz von Kennzahlen über den Verlauf des Programms bereitgestellt. Datenerhebungsmethoden hierfür sind festgeschrieben und möglichst weit in den Programmverlauf integriert. Das soll dazu dienen, die Güte und Tauglichkeit des Programms kontinuierlich mit angemessenem Aufwand zu überprüfen, um ggf. steuernd eingreifen zu können.

engl.: monitoring evaluation
frz.: évaluation de suivi

www.eval-wiki.org/glossar/dokumentierende_evaluation

Eine Interaktive Evaluation ist eine Evaluation, die während der Umsetzung eines Programms Zwischenergebnisse liefert. Diese beziehen sich vor allem auf die Prozessqualität und unterstützen dabei die Feinabstimmung im Programmverlauf.

engl.: interactive evaluation
frz.: évaluation interactive / évaluation continue

www.eval-wiki.org/glossar/interaktive_evaluation

Eine klärende Evaluation überprüft die Klarheit und Stimmigkeit der Ziele eines Programms und seine projektierte Umsetzung. Die Programmziele werden, sofern die Feststellung der Resultate oder Wirkungen des Programms erwünscht ist, in Evaluationsfragestellungen überführt. Die Klärung unterstützt die Entwicklung eines Konzepts, die Entwicklung einer Programmtheorie und die Abstimmung von Interventionen innerhalb des Programms. Sie gewinnt Informationen über seine Ausgangslage sowie seine Bedingungen.

engl.: clarificative evaluation
frz.: évaluation éclaircissante

www.eval-wiki.org/glossar/klaerende_evaluation

Bei einer proaktiven Evaluation wird vor dem Start eines Programms anhand von Vergleichsstudien oder eigens durchgeführten Erhebungen ermittelt und beschrieben, welche Bedingungen (Kontext I, Struktur und Incomes) für ein Programm in einem bestimmten Feld, an einem bestimmten Ort und/oder zu einem bestimmten Zeitpunkt gegeben sind, welche Bedarfe bei Zielgruppen vorliegen und ob die vorhandenen Ressourcen (Inputs) die Durchführung eines Programms ermöglichen.

engl.: proactive evaluation
frz.: évaluation proactive

www.eval-wiki.org/glossar/proaktive_evaluation

Die Evaluationsfunktion beschreibt den Charakter der Aufgaben, welche eine Evaluation bezogen auf ein Programm übernimmt. Es können – je nach Phase des Programms bzw. je nach Programmreife – folgende fünf Funktionen unterschieden werden: (1) im Vorlauf zum Programm eine proaktive Evaluation (auch: Ex-ante-Evaluation), dann (2) eine insbesondere auf das Programm bezogene - klärende Evaluation, (3) parallel zur Programmentwicklung eine interaktive Evaluation, dann (4) eine dokumentierende Evaluation und schließlich (5) rückblickend (auch: Ex-post-Evaluation) bei genügender Programmstabilität eine wirkungsfeststellende Evaluation. Eine konkrete Evaluation kann sowohl eine einzige Evaluationsfunktion exklusiv erfüllen oder auch mehrere gleichzeitig, ggf. auch zeitlich nacheinander gestaffelt.

engl.: evaluation function
frz.: fonction d'évaluation

www.eval-wiki.org/glossar/evaluationsfunktion

Ein Evaluationsmodell ist ein ausformuliertes, theoretisch begründetes und durch praktische Evaluationserfahrungen gesättigtes Orientierungssystem, wie Evaluationen geplant und durchgeführt werden sollen. Es enthält Definitionen von Schlüsselbegriffen (z. B. Hypothese; Evaluationsfragestellung) und es expliziert im Evaluationszyklus zu leistende Hauptaufgaben und deren Abfolge. Es benennt bevorzugte Evaluationsmethoden sowie angestrebte Arten von Evaluationsergebnissen (z. B. zum Umgang mit Empfehlungen). In unterschiedlichen Evaluationsmodellen werden zumeist auch verschiedene Evaluationsfunktionen angesprochen. Gemäß der Berücksichtigung von sozialen Werten kann in wertedistanzierte, werterelativistische, wertepriorisierende und wertepositionierte Evaluationsmodelle unterschieden werden. Evaluationsmodelle sind idealtypische Anleitungen, die in der Evaluationspraxis in Reinform selten realisiert werden. Vielfach werden Evaluationsmodelle miteinander kombiniert oder auch parallel aufgrund verschiedenster Fragestellungen genutzt.

engl.: evaluation model
frz.: modèle d’évaluation

www.eval-wiki.org/glossar/evaluationsmodell

Seiten