Nützliche Materialien aus dem Bereich Evaluation

Signifikanztests in der Evaluation

Im Team von Univation wird seit längerem darüber diskutiert, wann Signifikanztests gerechnet und in Berichten ausgewiesen werden sollen.
Die hierzu erarbeitete Position ist nach Einholen von Expertise von Kooperationspartnern und Statistik-Fachleuten zu einem Papier verarbeitet worden, das wir der Fachöffentlichkeit vorstellen.

Eine Beteiligung an einer Diskussion im forum-evaluation kann dazu beitragen, die dort formulierte Stellungnahme kritisch zu überprüfen.

Hier finden Sie die Stellungnahme!

Eva die Evaluatorin - ein Evaluationsbilderbuch

Dies ist eine Geschichte, die heute vielen Eltern und ihren Kindern passiert: Die Kinder fragen, was die Eltern für einen Beruf haben. Eine kindgerechte Antwort darauf ist oft schwer. Das Bilderbuch baut eine Brücke für Eltern, die als ihren Beruf "Evaluator" oder "Evaluatorin" angeben. Es erzählt, wie Eva ihren Vater, einen weitgereisten Evaluator, ausfragt. Sie macht sich aus seinen Antworten eigene Bilder. Birgit Stadler hat sie in lebendigen Buntstiftzeichnungen festgehalten. Eva stösst auch auf die Schattenseiten des Berufs, verkörpert durch einige boshafte Figuren. Dem Vater hilft sie mit ihren Fragen, seinen Beruf zu erklären.

Literatur- und Forschungsdatenbanken in der Evaluation

Evaluatorinnen und Evaluatoren müssen oft in knapper Zeit Literatur und vorliegende Evaluationen/Forschungen zu speziellen Themen recherchieren. Dazu stehen im deutschsprachigen und insbesondere im englischsprachigen Raum zahlreiche Datenbanken zur Verfügung. Die vorliegende Sammlung von Datenbanken soll als Orientierungshilfe für die Suche nach evaluationsspezifischen Inhalten dienen und gleichzeitig Hinweise zur Weiterentwicklung der Datenbanken aus Sicht der Bedarfe der Evaluationsdisziplin geben.

Rund um den Evaluationsbegriff

Evaluation bezeichnet die systematische, datenbasierte Beschreibung und Bewertung von Programmen (z. B. Hilfe- oder Beratungskonzeptionen), zeitlich beschränkten Projekten (z. B. Modellvorhaben) oder Institutionen (z. B. Zulassung von Trägern) in Bildung, Sozialer Arbeit, Gesundheitswesen u. a..

Fragen & Antworten

Der Income-/Outcomevergleich gibt den Gewinn (oder Verlust) an erwünschten Eigenschaften (z. B. Kompetenzen, gesundheitliche Verfassung) oder Vorteilen (z. B. sozialer Status), den Mitglieder von Zielgruppen zwischen ihrem Eintritt in ein Programm und einem bestimmten Zeitpunkt im Programmverlauf (z. B. dem ihres Austritts) aufweisen, an. Der Umfang entspricht dem (gemessenen) Unterschied zwischen Incomes und Outcomes und kann sich bspw. als Lernzuwachs äußern.

engl.: increment growth [value added] or increment attrition
frz.: accroît ou affaissement

http://www.eval-wiki.org/glossar/Saldo_%28Incomes_zu_Outcomes%29

Incomes eines Programms sind bspw. Ressourcen, die die Mitglieder der Zielgruppen in ein Programm einbringen. Diese Ressourcen können insbesondere Wissen, Einstellungen, Bedürfnisse, soziale Werte etc. sein. Daraus ergeben sich starke Unterschiede bezüglich Incomes in Abhängigkeit vom Alter, Bildungsstand oder Geschlecht der (potenziellen) Zielgruppen. Incomes stellen zentrale Bedingungen dar, die bei der Entwicklung des Konzepts eines Programms berücksichtigt werden müssen. Mittels gezielter Teilnehmendenauswahl (Profiling, Assessment) können die Incomes eines Programms in Teilen gesteuert werden. Die bei Programmschluss gemessenen Outcomes können den Incomes gegenübergestellt werden (Income-/Outcomevergleich).

engl.: incomes (of a programme)
frz.: incomes/apports (d’un programme)

http://eval-wiki.org/glossar/Incomes_eines_Programms

Inputs stellen im Kontext von Evaluationen Bestandteile eines Programms dar. Sie sind als finanzielle, personale oder andere Ressourcen, die in ein Programm investiert werden, teils als monetäre Kosten erfassbar. Diese stellen manchmal eine variable Bedingung dar, insofern als z. B. Kostenarten (Personal- vs. Sachausgaben) oder Personalqualifikationen (durch gezielte Fortbildung) beeinflusst werden können.

engl.: inputs (of a programme)
frz.: entrées (d’un programme)

http://eval-wiki.org/glossar/Inputs_%28eines_Programms%29

Logische Modelle geben die (Ablauf-)Logik eines Programms wieder. Sie können z.B. als textbasierte (z. B. Tabelle) oder visuelle (z. B. Flussdiagramm) Veranschaulichungen dargestellt werden.
Logische Modelle sollten zur optimalen Anwendbarkeit nach den generische Elemente von Programmen gegliedert sein (Inputs/Ressourcen, Aktivitäten, Outputs, Outcomes, Impacts). Teilweise werden auch die angenommenen Verbindungen zwischen diesen Programmelementen z. B. mittels Pfeilen verdeutlicht.
Anders als bei einer visuellen Darstellung einer Programmtheorie - die man auch als ein weiter entwickeltes Logisches Modell bezeichnen könnte - ist die Explikation von kausalen Verbindungen zwischen den Elementen nicht erforderlich.
Das logische Modell dient Programmzuständigen sowie Evaluierenden als Strukturierungshilfe und Kommunikationsgrundlage über das Programm, zur Erstellung eines Plans zum Monitoring sowie zur Fokussierung einer Evaluation. Obwohl die (vereinfachende) grafische Darstellung dies nahelegt, sind die in Logischen Modellen abgebildeten Programme selten linear, sondern komplex und schleifenartig verknüpft.

engl.: logic model
frz.: cadre logique


http://eval-wiki.org/glossar/Logisches_Modell

Interventionen sind zielorientierte Aktivitäten der in einem Programm tätigen Personen, welche direkt auf die Auslösung von Resultaten, insbesondere Outcomes gerichtet sind. In detaillierten logischen Modellen (bspw. dem Programmbaum) ist ausgewiesen, welche spezifischen Interventionen zur Erreichung welcher Resultate eingesetzt werden.
Die Programmtheorie enthält darüber hinaus theoretisch begründete oder empirisch belegte Erklärungen dazu, weshalb von spezifischen Interventionen erwartet wird, dass sie bestimmte Resultate auslösen.
Beispiele für Interventionen in einem pädagogischen Programm sind z.B. ein informierender Unterrichtseinstieg, Vorträge von Lehrenden, Stellen von Aufgaben an Lernende, Feedback an Lernende.

engl.: programme interventions
frz.: interventions (d’un programme)

http://eval-wiki.org/glossar/Interventionen_%28eines_Programms%29

Als Auswirkungen werden in der Alltagssprache Erfolge bzw. Misserfolge eines Programms bezeichnet, wobei ein Zusammenhang zwischen konkreten Intervention eines Programms und einem Resultat (bspw. verbesserter sozialer Status) unterstellt wird, ohne dass ein Wirkungsnachweis erbracht wäre. Nicht nur in der Alltagssprache sondern auch in wissenschaftlichen Publikationen oder Evaluationsberichten werden Auswirkungen mit Wirkungen oftmals gleichgesetzt, was zu ungültigen Ergebnissen führt.

engl.: consequences (of a programme)
frz.: retombées (d'un programme)

 

http://www.eval-wiki.org/glossar/Auswirkungen_%28eines_Programms%29

Bei der zielfreien Evaluation wird versucht, alle Auswirkungen eines Evaluationsgegenstands erfassen, unabhängig von vorherbestimmten Zielen. Dieses Vorgehen soll eine größere Aufgeschlossenheit der Evaluierenden gegenüber nicht-intendierten Resultaten sichern und insbesondere davor bewahren, schwerwiegende negative nicht beabsichtigte Resultate zu übersehen.

engl.: goal-free evaluation
frz.: évaluation hors d'objectifs

http://eval-wiki.org/glossar/Zielfreie_Evaluation

Ziele sind in der Zukunft liegende, erwünschte Zustände, die durch ein Programm ausgelöst werden sollen. Es handelt sich um einfache bis komplexe gedankliche Vorwegnahmen künftiger Situationen. Wenn sich die Agierenden diese Ziele zu Eigen machen (Selbstverpflichtung), können sie individuelles und kollektives Handeln darauf ausrichten und abstützen. Vielfach sind Ziele implizit, werden stillschweigend als geltend unterstellt (stillschweigendes Wissen). In der Evaluation ist es jedoch wünschenswert, dass für die Evaluationsgegenstände Ziele expliziert, d. h. verschriftlicht sind. Als Konkretionsstufen von Programmzielen werden Leitziele, Mittlerziele und Detailziele (auch Praxis- oder Handlungsziele) unterschieden, die zusammengefügt und aufeinander abgestimmt ein Zielsystem bilden. Vielfach werden Kriterien zur Bewertung von Programmen aus Zielen abgeleitet. Eine Alternative hierzu stellt die zielfreie Evaluation dar.

engl.: programme goals; aims; objectives
frz.: objectifs (d’un programme)

Qs 21 Zielfindung und Zielklärung - Ein Leitfaden
http://univation.org/download/QS_21.pdf

http://eval-wiki.org/glossar/Ziele_%28eines_Programms%29

 

Programme sind definierte und durchgeführte, intentional aufeinander bezogene Bündel von Aktivitäten, Interventionen, Maßnahmen, Projekten oder Teilprogrammen. Ein Programm besteht aus meist mehreren Interventionen. Es wird auf der Basis von verfügbaren Ressourcen (Inputs) sowie beeinflusst durch weitere Bedingungsfaktoren durchgeführt und ist darauf gerichtet, mittels bereitgestellter Leistungen (Outputs) bestimmte Veränderungen/Stabilisierungen bei bezeichneten Zielgruppen (Outcomes) oder in Organisationen bzw. sozialen Systemen (Impacts) auszulösen. Evaluationsgegenstand können sowohl das Konzept des Programms, als auch seine Umsetzung (Aktivitäten bzw. Interventionen) und seine Resultate sein. Je nach Evaluationsfeld hat das Wort „Programm“ eine andere Bedeutung – hier ist es ein Fachbegriff der Evaluationssprache. Programme unterscheiden sich u. a. in ihrer Größe, z. B. gemessen in eingesetzten Finanzmitteln, ihrer Dauer (von wenigen Stunden bis viele Jahre), der Anzahl der beteiligten oder betroffenen Stakeholder und in ihrem Komplexitätsgrad.

engl.: programme
frz.: programme

http://eval-wiki.org/glossar/Programm

Stakeholder sind Personen, Personengruppen oder Organisationen, die je nachdem, wie ein Programm konzipiert und umgesetzt wird, etwas zu verlieren oder zu gewinnen haben: Für sie steht ein angestrebtes Ziel auf dem Spiel; sie halten Einsätze (engl. stakes). Es können aktiv am Evaluationsgegenstand Beteiligte von passiv Betroffenen unterschieden werden. Die Trennlinie zwischen Stakeholdern einerseits und Evaluationsinteressierten bzw. Adressierten der Evaluation andererseits kann nicht immer scharf gezogen werden. (Synonym: Anspruchsgruppen)

engl.: stakeholders (of a programme)
frz.: parties prenantes (d’un programme)

http://eval-wiki.org/glossar/Stakeholder_%28eines_Programms%29

 

Seiten