Nützliche Materialien aus dem Bereich Evaluation

Signifikanztests in der Evaluation

Im Team von Univation wird seit längerem darüber diskutiert, wann Signifikanztests gerechnet und in Berichten ausgewiesen werden sollen.
Die hierzu erarbeitete Position ist nach Einholen von Expertise von Kooperationspartnern und Statistik-Fachleuten zu einem Papier verarbeitet worden, das wir der Fachöffentlichkeit vorstellen.

Eine Beteiligung an einer Diskussion im forum-evaluation kann dazu beitragen, die dort formulierte Stellungnahme kritisch zu überprüfen.

Hier finden Sie die Stellungnahme!

Eva die Evaluatorin - ein Evaluationsbilderbuch

Dies ist eine Geschichte, die heute vielen Eltern und ihren Kindern passiert: Die Kinder fragen, was die Eltern für einen Beruf haben. Eine kindgerechte Antwort darauf ist oft schwer. Das Bilderbuch baut eine Brücke für Eltern, die als ihren Beruf "Evaluator" oder "Evaluatorin" angeben. Es erzählt, wie Eva ihren Vater, einen weitgereisten Evaluator, ausfragt. Sie macht sich aus seinen Antworten eigene Bilder. Birgit Stadler hat sie in lebendigen Buntstiftzeichnungen festgehalten. Eva stösst auch auf die Schattenseiten des Berufs, verkörpert durch einige boshafte Figuren. Dem Vater hilft sie mit ihren Fragen, seinen Beruf zu erklären.

Literatur- und Forschungsdatenbanken in der Evaluation

Evaluatorinnen und Evaluatoren müssen oft in knapper Zeit Literatur und vorliegende Evaluationen/Forschungen zu speziellen Themen recherchieren. Dazu stehen im deutschsprachigen und insbesondere im englischsprachigen Raum zahlreiche Datenbanken zur Verfügung. Die vorliegende Sammlung von Datenbanken soll als Orientierungshilfe für die Suche nach evaluationsspezifischen Inhalten dienen und gleichzeitig Hinweise zur Weiterentwicklung der Datenbanken aus Sicht der Bedarfe der Evaluationsdisziplin geben.

Rund um den Evaluationsbegriff

Evaluation bezeichnet die systematische, datenbasierte Beschreibung und Bewertung von Programmen (z. B. Hilfe- oder Beratungskonzeptionen), zeitlich beschränkten Projekten (z. B. Modellvorhaben) oder Institutionen (z. B. Zulassung von Trägern) in Bildung, Sozialer Arbeit, Gesundheitswesen u. a..

Fragen & Antworten

Eine Interaktive Evaluation ist eine Evaluation, die während der Umsetzung eines Programms Zwischenergebnisse liefert. Diese beziehen sich vor allem auf die Prozessqualität und unterstützen dabei die Feinabstimmung im Programmverlauf.

engl.: interactive evaluation
frz.: évaluation interactive / évaluation continue

www.eval-wiki.org/glossar/interaktive_evaluation

Eine klärende Evaluation überprüft die Klarheit und Stimmigkeit der Ziele eines Programms und seine projektierte Umsetzung. Die Programmziele werden, sofern die Feststellung der Resultate oder Wirkungen des Programms erwünscht ist, in Evaluationsfragestellungen überführt. Die Klärung unterstützt die Entwicklung eines Konzepts, die Entwicklung einer Programmtheorie und die Abstimmung von Interventionen innerhalb des Programms. Sie gewinnt Informationen über seine Ausgangslage sowie seine Bedingungen.

engl.: clarificative evaluation
frz.: évaluation éclaircissante

www.eval-wiki.org/glossar/klaerende_evaluation

Bei einer proaktiven Evaluation wird vor dem Start eines Programms anhand von Vergleichsstudien oder eigens durchgeführten Erhebungen ermittelt und beschrieben, welche Bedingungen (Kontext I, Struktur und Incomes) für ein Programm in einem bestimmten Feld, an einem bestimmten Ort und/oder zu einem bestimmten Zeitpunkt gegeben sind, welche Bedarfe bei Zielgruppen vorliegen und ob die vorhandenen Ressourcen (Inputs) die Durchführung eines Programms ermöglichen.

engl.: proactive evaluation
frz.: évaluation proactive

www.eval-wiki.org/glossar/proaktive_evaluation

Die Evaluationsfunktion beschreibt den Charakter der Aufgaben, welche eine Evaluation bezogen auf ein Programm übernimmt. Es können – je nach Phase des Programms bzw. je nach Programmreife – folgende fünf Funktionen unterschieden werden: (1) im Vorlauf zum Programm eine proaktive Evaluation (auch: Ex-ante-Evaluation), dann (2) eine insbesondere auf das Programm bezogene - klärende Evaluation, (3) parallel zur Programmentwicklung eine interaktive Evaluation, dann (4) eine dokumentierende Evaluation und schließlich (5) rückblickend (auch: Ex-post-Evaluation) bei genügender Programmstabilität eine wirkungsfeststellende Evaluation. Eine konkrete Evaluation kann sowohl eine einzige Evaluationsfunktion exklusiv erfüllen oder auch mehrere gleichzeitig, ggf. auch zeitlich nacheinander gestaffelt.

engl.: evaluation function
frz.: fonction d'évaluation

www.eval-wiki.org/glossar/evaluationsfunktion

Ein Evaluationsmodell ist ein ausformuliertes, theoretisch begründetes und durch praktische Evaluationserfahrungen gesättigtes Orientierungssystem, wie Evaluationen geplant und durchgeführt werden sollen. Es enthält Definitionen von Schlüsselbegriffen (z. B. Hypothese; Evaluationsfragestellung) und es expliziert im Evaluationszyklus zu leistende Hauptaufgaben und deren Abfolge. Es benennt bevorzugte Evaluationsmethoden sowie angestrebte Arten von Evaluationsergebnissen (z. B. zum Umgang mit Empfehlungen). In unterschiedlichen Evaluationsmodellen werden zumeist auch verschiedene Evaluationsfunktionen angesprochen. Gemäß der Berücksichtigung von sozialen Werten kann in wertedistanzierte, werterelativistische, wertepriorisierende und wertepositionierte Evaluationsmodelle unterschieden werden. Evaluationsmodelle sind idealtypische Anleitungen, die in der Evaluationspraxis in Reinform selten realisiert werden. Vielfach werden Evaluationsmodelle miteinander kombiniert oder auch parallel aufgrund verschiedenster Fragestellungen genutzt.

engl.: evaluation model
frz.: modèle d’évaluation

www.eval-wiki.org/glossar/evaluationsmodell

Bei diesem Evaluationsmodell wird kontrolliert, ob/in welchem Ausmaß ein Programm (und nicht andere Faktoren) die operational bestimmten Resultate bei der Zielgruppe oder darüber hinaus (z. B. durchschnittlicher Einkommenszuwachs in Euro, erreichter Lebensstandardindex von x) ursächlich ausgelöst hat. Zu diesem Zweck werden Zielgrößen für die am Programm teilnehmende Gruppe (Experimentalgruppe) gemessen und diese dann den Werten für eine Kontrollgruppe, die am jeweiligen Programm/an einem ähnlichen Programm nicht teilgenommen hat, gegenüber gestellt. Die Zuweisung zur Experimentalgruppe einerseits, zur Kontrollgruppe andererseits geschieht nach dem Zufallsprinzip. Idealerweise werden Störeinflüsse ausgeschlossen (nur im Labor möglich), durch Versuchsbedingungen gemindert oder durch nachträgliche Gewichtung von Daten „herausgerechnet“. Bei genügend großen Erhebungsmengen können die gemessenen Zielgrößen (z. B. Durchschnittswerte für beide Gruppen) unmittelbar verglichen und damit Aussagen über die Wirksamkeit des Programms getroffen werden.

engl.: experimental design driven evaluation

www.eval-wiki.org/glossar/Experimentaldesigngesteuerte_Evaluation
 

Ein Benchmarking bezeichnet einen kontinuierlichen, vergleichenden Bewertungsprozess in Bezug auf das Erreichen von „besten“ Leistungs-, Erfolgs- oder Qualitäts-Kriterienpunkten (Benchmarks). Benchmarking wird überwiegend wettbewerberorientiert verstanden. Der Vergleich mit den Besten soll Impulse geben, die eigene Leistungsfähigkeit (als Organisation) zu erhöhen und Branchenführer zu werden. Es können Prozesse, Systeme, oder Resultate wie Produkte und Dienstleistungen bezüglich Kriterien wie Kosten, Zeit, Nutzendenzufriedenheit etc. verglichen werden. Benchmarking und Evaluation können sinnvoll miteinander verknüpft werden: Benchmarking kann im Rahmen von Evaluationen eingesetzt werden, aber auch Evaluationen können einem Benchmarking unterzogen werden.

engl.: benchmarking
frz.: référenciation

www.eval-wiki.org/glossar/benchmarking
 

Eine Intervention wird als Beste Praxis bezeichnet, wenn sie nachweislich wirksam und Alternativen überlegen ist und darüber hinaus vervielfältigt werden kann. Ein solches Programm oder Programmelement wird gegenüber konkurrierenden/anderen als das beste bewertet. Für das Feld personenbezogener Dienstleistungen (Bildung, Pflege usw.) heißt dies, dass solche Praktiken die bestmöglichen Outcomes für die Zielgruppen oder Impacts auszulösen vermögen. Eine als beste klassifizierte Praxis gilt nicht nur als vorbildhaft und nachahmenswert für ähnliche (evtl. noch zu konzipierende/umzusetzende) Programme, sondern ist mit der Garantie verbunden, dass sie in allen vergleichbaren Situationen wirkt. In Evaluationen (bzw. im Benchmarking) kann ein Evaluationszweck die systematische Identifikation und der Nachweis von Besten Praktiken sein.
Beste Praktiken im engeren Sinne müssen forschungsbasiert sein, evtl. ergänzt durch Expertenurteile oder lokale/situationale Belege. Besonders in der Medizin/Pflege geschieht dies optimalerweise mittels experimenteller Designs. Fehlt ein solcher Nachweis (und damit die Basis für erfolgssichere Verbreitung), ist von Guter Praxis zu sprechen.

engl.: best practice
frz.: meilleur pratique

Glossar der Evaluation unter www.eval-wiki.org

Eine Intervention oder eine Maßnahme wird als Gute Praxis bezeichnet, wenn durch Forschung, Erfahrung und Expertenurteile ist plausibel gemacht ist, dass eine solche Praxis wirksam ist, also zur Erreichung der gesetzten Ziele beitragen kann. Im Feld personenbezogener Dienstleistungen (Bildung, Therapie, Pflege usw.) sind solche Praktiken (besonders auch in Kombination) geeignet, wünschbare Outcomes bei den Zielgruppen oder Impacts in einem System oder in einer Organisation auszulösen. Eine als gut klassifizierte Praxis gilt als vorbildhaft und nachahmenswert in professionellen Handlungsfeldern. Verbreitet sind z. B. "Merkmalskataloge" für "guten Unterricht"/"Unterrichtsqualität" oder "gute Lehre". Im Unterschied zur Besten Praxis ist ein empirisch abgestützer Nachweis verzichtbar, dass solche Praktiken in allen oder nur den meisten vergleichbaren Situationen ebenfalls wirken, doch kommen Expertinnen und Experten zu dem Urteil, dass dies oft der Fall sein wird. In Evaluationen kann ein Evaluationszweck die systematische Identifikation und der Nachweis von Guten Praktiken sein (auch Aufgabe im Benchmarking). In Literatur und Praxis wird vielfach nicht zwischen den beiden Konzepten der "guten" und der "besten" Praxis unterschieden.

engl.: good practice
frz.: bonne pratique

Glossar der Evaluation unter www.eval-wiki.org

Daten sind von Untersuchenden (mittels Befragung oder Beobachtung) gewonnene oder (mittels Erfassung vorhandener Erzeugnisse und Verhaltensspuren) als solche deklarierte Abbildungen von Untersuchungsgegenständen. Geläufige Datenarten sind Zahlen (z. B. Mengen-, Gewichts-, Längen-, Zeitangaben), geschriebene Texte sowie Bildsymbole; Aufzeichnungen gesprochener Worte; Bilder, Fotos und Videos.
In Evaluation und Forschung sind Daten Ergebnisse von Erhebungs- oder Messverfahren. Die Untersuchenden transformieren relevante Aspekte der Realität in symbolische Repräsentationen der bei Aussageeinheiten vorhandenen Merkmalsausprägungen. Daten werden in für das jeweilige Untersuchungsvorhaben geeigneter Form festgehalten, archiviert und abrufbar gemacht. Rohdaten können nach Auswertung qualitativer Verfahren und/oder mittels quantitativer (statistischer) Verfahren für die Beschreibung und Bewertung im Rahmen einer Evaluation genutzt werden.

engl.: data
frz.: données

Glossar der Evaluation unter www.eval-wiki.org

Seiten