Nützliche Materialien aus dem Bereich Evaluation

Signifikanztests in der Evaluation

Im Team von Univation wird seit längerem darüber diskutiert, wann Signifikanztests gerechnet und in Berichten ausgewiesen werden sollen.
Die hierzu erarbeitete Position ist nach Einholen von Expertise von Kooperationspartnern und Statistik-Fachleuten zu einem Papier verarbeitet worden, das wir der Fachöffentlichkeit vorstellen.

Eine Beteiligung an einer Diskussion im forum-evaluation kann dazu beitragen, die dort formulierte Stellungnahme kritisch zu überprüfen.

Hier finden Sie die Stellungnahme!

Eva die Evaluatorin - ein Evaluationsbilderbuch

Dies ist eine Geschichte, die heute vielen Eltern und ihren Kindern passiert: Die Kinder fragen, was die Eltern für einen Beruf haben. Eine kindgerechte Antwort darauf ist oft schwer. Das Bilderbuch baut eine Brücke für Eltern, die als ihren Beruf "Evaluator" oder "Evaluatorin" angeben. Es erzählt, wie Eva ihren Vater, einen weitgereisten Evaluator, ausfragt. Sie macht sich aus seinen Antworten eigene Bilder. Birgit Stadler hat sie in lebendigen Buntstiftzeichnungen festgehalten. Eva stösst auch auf die Schattenseiten des Berufs, verkörpert durch einige boshafte Figuren. Dem Vater hilft sie mit ihren Fragen, seinen Beruf zu erklären.

Literatur- und Forschungsdatenbanken in der Evaluation

Evaluatorinnen und Evaluatoren müssen oft in knapper Zeit Literatur und vorliegende Evaluationen/Forschungen zu speziellen Themen recherchieren. Dazu stehen im deutschsprachigen und insbesondere im englischsprachigen Raum zahlreiche Datenbanken zur Verfügung. Die vorliegende Sammlung von Datenbanken soll als Orientierungshilfe für die Suche nach evaluationsspezifischen Inhalten dienen und gleichzeitig Hinweise zur Weiterentwicklung der Datenbanken aus Sicht der Bedarfe der Evaluationsdisziplin geben.

Rund um den Evaluationsbegriff

Evaluation bezeichnet die systematische, datenbasierte Beschreibung und Bewertung von Programmen (z. B. Hilfe- oder Beratungskonzeptionen), zeitlich beschränkten Projekten (z. B. Modellvorhaben) oder Institutionen (z. B. Zulassung von Trägern) in Bildung, Sozialer Arbeit, Gesundheitswesen u. a..

Fragen & Antworten

Die Bewertung ist neben der Beschreibung eine Hauptaufgabe der Evaluation. Sie bringt die erzeugten beschreibenden Informationen in Relation zu ausgewiesenen oft operationalisierten Kriterien, um schließlich zusammenfassende Urteile über Güte und/oder Tauglichkeit eines Evaluationsgegenstands zu treffen. Wenn betont werden soll, dass - bei aller Systematik, Kriterien- und Datenbasierung - letztlich Personen bewerten, spricht man auch von Beurteilung. Unterschieden werden können insbesondere die kriterienpunkt-bezogene und die parameter-bezogene Bewertung.

engl.: valuation
frz.: jugement

http://eval-wiki.org/glossar/Bewertung

Qualitätsmanagement ist ein ursprünglich in den Ingenieurwissenschaften entwickeltes Konzept, welches sich im weiteren Sinne auf die Gesamtheit aller qualitätsbezogenen Tätigkeiten einer Organisation bezieht. Der Schwerpunkt der Betrachtung liegt auf der Planung, Steuerung und Verbesserung von Prozessen. Einerseits erfordern einige Qualitätsmanagementkonzepte verschiedenste Methoden und Ansätze der Evaluation, andererseits kann das Qualitätsmanagement selbst einen Evaluationsgegenstand darstellen.

engl.: quality management
frz.: management par la qualité

http://eval-wiki.org/glossar/Qualit%C3%A4tsmanagement

Unter Prozess ist die Durchführung der Aktivitäten eines Programms, die im Konzept zur Erreichung seiner Ziele bzw. zur Erzeugung seiner Resultate vorgesehen sind zu verstehen; auch Umsetzung des Konzepts. Der Prozess-Begriff wird im Glossar der Evaluation durch den der Aktivitäten ersetzt, auch wegen der zu starken Reduktion der Elemente des Programmbaums im Qualitätsmanagement personenbezogener Dienstleistungen („Struktur-Prozess-Ergebnis“) und der mit dieser Trias verbundenen sprachlichen Unklarheiten.

engl.: programme process (of a programme)
frz.: processus (d'un programme)

http://eval-wiki.org/glossar/Prozess_%28eines_Programms%29

Bedingungen eines Programms ist als Sammelbegriff für Kontext I, Inputs, Incomes und Struktur eines Programms zu verstehen. Die Bedingungen haben Einfluss auf das Konzept eines Programms (inkl. seiner Ziele) und dessen Umsetzbarkeit. Veränderungen relevanter Bedingungen während der Laufzeit des Programms gegenüber der Ausgangslage machen oft Anpassungen erforderlich.

engl.: conditions (of a programme)
frz.: conditions (d'un programme)

http://eval-wiki.org/glossar/Bedingungen_%28eines_Programms%29

Unter Struktur(en) eines Programms versteht man Faktoren, die beim Träger (oder in einem Verbundsystem) eines Programms vorliegen, wie z. B. Rechtsform, Kapitalausstattung und Finanzierungsmix, Personalstruktur, Qualitätsmanagementsystem usf. Darüber hinaus bilden weitere an einem Programm beteiligte Institutionen und/oder Personen mit ihren Beziehungen und Verantwortungsbereichen bspw. für Programmbereiche, Steuerung, Kontrolle etc. die Struktur. Die lediglich mittelfristig veränderbare Struktur ist eine relevante Bedingung für die Durchführung eines Programms. Finanziers des Programms können durch eine gezielte Trägerauswahl bei der Vergabe von Programmen Einfluss auf Strukturbedingungen nehmen. Die Veränderung oder Stabilisierung der Struktur kann auch ein Ziel eines Programms sein. Werden als Resultate des Programms solche angestrebten Strukturveränderungen oder -stabilisierungen ausgelöst, bezeichnet man sie als Impacts.

engl.: structure (of a programme)
frz.: structure (d‘un programme)

http://eval-wiki.org/glossar/Struktur_%28eines_Programms%29

Unter Aktivitäten (eines Programms) sind alle Handlungen der beruflich oder ehrenamtlich im Programm Tätigen zu verstehen, die sie zur Umsetzung des Programms ausgeführt werden. Soweit sich die Aktivitäten direkt auf die Ziele des Programms richten, werden sie als Interventionen bezeichnet. Daneben gibt es Hilfsaktivitäten, welche die Interventionen ermöglichen oder unterstützen (z. B. Abstimmung und Koordination zwischen Mitarbeitenden oder Kooperationspartnern, Einarbeitung und Anleitung neuer Mitarbeitender).
In Programmen, die wesentlich in Koproduktion mit Mitgliedern der Zielgruppen umgesetzt werden (und deren aktive Teilnahme erfordern, z. B. Selbstlernen), gibt es darüber hinaus Zielgruppen-Aktivitäten. Hingegen wird stabilisiertes/verändertes Handeln/Verhalten der Zielgruppenmitglieder, welches durch das Programm als Resultat ausgelöst werden soll, den Outcomes zugerechnet (die Grenzen zwischen Zielgruppenaktivitäten und Outcomes sind evtl. fließend). Gegenüber den im logischen Modell (bspw. Programmbaum) den Aktivitäten nachgelagerten Outputs, die im Rahmen des Monitorings gezählt werden müssen, ist für die Aktivitäten in der Evaluation eine qualitative Beschreibung hinreichend.

engl.: activities (of a programme); actions
frz.: activités (d'un programme)

http://eval-wiki.org/glossar/Aktivit%C3%A4ten_%28eines_Programms%29

Resultate sind durch Aktivitäten bzw. Interventionen eines Programms
- bereitgestellte Leistungen oder Produkte (Outputs) und
- ausgelöste Veränderungen/Stabilisierungen bei Zielgruppen (Outcomes) oder
- bei Organisationen und anderen sozialen Aggregaten (Impacts).
(siehe hierzu im Glossar: Wirkungen, Effekte, intendierte Resultate, nicht-intendierte Resultate, unerwünschte Resultate)

Die im Glossar gegebenen Definitionen der verschiedenen Resultats-Arten orientieren sich am Hauptstrom der internationalen Literatur. Abweichende, auch untereinander "vertauschte" Begriffsdefinitionen gibt es insbesondere in der Literatur und Evaluationspraxis
(a) zur deutschsprachigen Schul- bzw. Bildungsevaluation als auch
(b) in der deutsch-schweizerischen Literatur zu Politikevaluation und zum New Public Management. Beispiele abweichender Definitionen für den Bildungsbereich finden sich hier: http://www.eval-wiki.org/…/Variantentafel-Resultatsarten-fu…

engl.: results (of a programme)
frz.: résultats (d'un programme)

http://eval-wiki.org/glossar/Resultate_%28eines_Programms%29

Impacts sind Resultate eines Programms, die über die bei Zielgruppen auftretenden Outcomes hinausgehen. Häufig sind Outcomes Voraussetzung dafür, dass Impacts zustandekommen; es gibt aber auch andere Fälle.
Impacts treten als Merkmale sozialer Systeme auf, z. B. einer Organisation, eines Netzwerkes, eines Sozial- oder Bildungsraums, eines Staatenbundes usw. Ein Impact könnte sich z. B. darin zeigen, dass ein Weiterbildungssystem demokratisch besser legitimiert ist.
In aller Regel ist die Messung von Impacts aufwändiger als die von Outcomes, da nicht Personen die Merkmalsträger oder Aussageeinheiten der zu erfassenden Veränderungen/Stabilisierungen sind, sondern Beziehungen zwischen Personen sowie deren ökonomische, soziokulturelle, institutionelle, natürliche oder technologische Umwelten. Impacts sind oft Resultate einer oder mehrerer Ketten von Interventionen, Outputs und Outcomes (oder gar mehrerer Programme und/oder Politiken). Der empirische Nachweis, dass Impacts durch bestimmte Programmaktivitäten ausgelöst sind (Wirkungsnachweis), dürfte selten.

engl.: impacts (of a programme)
frz.: impacts (d’un programme)

http://eval-wiki.org/glossar/Impacts_%28eines_Programms%29

Outcomes sind die intendierten Resultate eines Programms bei Zielgruppen, wie z. B. Veränderungen bzw. Stabilisierungen im Wissen, in den Einstellungen, in ihren sozialen Werten oder im Können, im Verhalten oder in der Lebenslage/dem Status der Zielpersonen. Die Erhebung von Daten zu Outcomes ist oft methodisch deutlich aufwändiger als die zu Outputs.
Wenn die Resultate nicht bei Einzelpersonen oder Gruppen (Familien, Teams, Jugendgangs ...) sondern in Organisationen, Gebietskörperschaften oder sozialen/politischen Systemen auftreten, handelt es sich um Impacts.
Welche Outcomes angestrebt werden, soll in den Zielen des Programms festgehalten sein (Outcome-Ziele).
Das Gegenstück zu den Outcomes sind die Incomes; der Unterschied zwischen beiden Programmelementen entspricht dem Saldo (Incomes zu Outcomes); im Falle von Bildungsprogrammen ist dies der Lernzuwachs.

engl.: outcomes (of a programme)
frz.: réalisations (d’un programme)

http://eval-wiki.org/glossar/Outcomes_%28eines_Programms%29

Outputs sind dingliche Resultate eines Programms, welche als Leistungen oder Produkte durch (oder in Verbindung mit den) Programm-Interventionen hervorgebracht werden (wörtlich übersetzt "Ausbringungen" oder "Ausstöße"). Outputs sind in der Regel leicht zählbar. Meist handelt es sich um Anwendungen von Interventionen auf die Zielgruppen. Beispiele sind durchgeführte Therapie- oder Unterrichtsstunden, verteilte Broschüren oder Medikamente (Outputs I), Teilnahme-/Benutzungsmengen wie Anwesenheitsquoten im Unterricht oder Beendigungsquoten einer Therapieserie (Outputs II) oder Zufriedenheit der Benutzenden/Zielgruppen mit den Aktivitäten des Programms (Outputs III).
Den Outputs (zeitlich bzw. logisch) unmittelbar vorangehend sind die Interventionen; diese sollen - meist über die Outputs - zu den (zeitlich/logisch nachgelagerten) gewünschten Outcomes führen, welche in der Regel die eigentlichen Programm-Ziele darstellen.

Das Gegenstück zu den Outputs sind die Inputs; aus dem Verhältnis der beiden Mengen ergibt sich die Input-Output-Relation, zentraler Bestandteil der Kosten-Leistungs-Analyse.

engl.: outputs (of a programme)
frz.: extrants (d’un programme)

http://eval-wiki.org/glossar/Outputs_%28eines_Programms%29

Seiten