Herzlich willkommen in unserem FAQ-Bereich! In der Welt von Programmevaluation ist die Verwendung eines konsistenten Vokabulars von entscheidender Bedeutung. Einheitliche Begriffe und Definitionen helfen dabei, Missverständnisse in der Evaluationsplanung zu vermeiden und Schlussfolgerungen klar zu kommunizieren. Dadurch wird sichergestellt, dass Evaluationsprozesse präzise und zuverlässig sind und die gewonnenen Erkenntnisse effektiv zur Verbesserung von Programmen genutzt werden können.  Alle Antworten sind mit unserem Eval-Wiki verlinkt, wo 425 Evaluationsbegriffe definiert und mit Quellen hinterlegt sind. Entdecken Sie hier Antworten auf die häufigsten Fragen und vertiefen Sie Ihr Verständnis für eine erfolgreiche Evaluation.

Eine Evaluation ist eine Dienstleistung, die definierte Evaluationsgegenstände (z.B. Programme, Maßnahmen oder politische Strategien) systematisch, transparent und datengestützt beschreibt und bewertet.
Die Ergebnisse einer Evaluation werden insbesondere im Rahmen zuvor festgelegter Evaluationszwecke genutzt.
Evaluationen werden häufig interdisziplinär, d.h. durch die Nutzung von Ansätzen oder Methoden verschiedener Fachrichtungen, umgesetzt.

engl.: evaluation
frz.: évaluation

Etymologisch lässt sich der Begriff Evaluation auf das lateinische Wort "valor", das im Deutschen so viel bedeutet wie "bei Kräften sein", "wert sein" oder gültig sein", zurückführen.

Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Evaluation

Gegenstand einer Evaluation kann alles von Menschen Geschaffene sein, zu dem eine Beschreibung und Bewertung erstellt werden kann.
Evaluationsgegenstände sind zu Beginn einer Evaluation oft nicht klar abgegrenzt bzw. beschrieben, sondern müssen in der ersten Hauptphase der Evaluation, der Gegenstandsbestimmung, gemeinsam durch Evaluierende und Beteiligte definiert werden.
Typische Evaluationsgegenstände sind Programme (z.B. IQ- Integration durch Qualifizierung), Produkte und Kampagnen (z.B. "Alkohol? Kenn dein Limit.). Auch Organisationen können Gegenstand von Evaluationen sein.

engl.: evaluand [für ein Subjekt]; evaluation object [für ein Objekt]
frz.: objet d'évaluation
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Evaluationsgegenstand

Der Evaluationszweck wird von Auftraggebenden und/oder anderen Stakeholdern festgelegt und bezeichnet, was diese mit der Evaluation und den erzeugten Evaluationsergebnissen erreichen wollen. Der Evaluationszweck bestimmt die Richtung der Evaluation: Jeder Evaluationsschritt ist so anzulegen, dass er dem jeweiligen Evaluationszweck dient.
Evaluationszwecke sind namentlich: Optimierung/Verbesserung, Entscheidungsfindung, Rechenschaftslegung, Wissensmanagement und Wissensgenerierung. Es ist umstritten, ob auch Legitimation ein seriöser Evaluationszweck ist. Eine Evaluation kann mehrere dieser Zwecke verfolgen. Dabei sollte ein primärer Evaluationsweck bestimmt sein, so dass die Evaluierenden im Falle von Zweckkonflikten eine sichere Orientierungsgrundlage haben. Eine weitere Möglichkeit besteht darin, für verschiedene Evaluationsphasen unterschiedliche Prioritäten zu setzen, z. B. zuerst Verbesserung, dann Entscheidungsfindung oder Rechenschaftslegung.
Der Terminus Zweck (der Evaluation) wird von Zielen abgegrenzt, welche für Evaluationsgegenstände gesetzt werden. 
engl.: purpose of evaluations
frz.: fin d'évaluation
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Evaluationszweck

Stakeholder sind Personen, Personengruppen oder Organisationen, die je nachdem, wie ein Programm konzipiert und umgesetzt wird, etwas zu verlieren oder zu gewinnen haben: Für sie steht ein angestrebtes Ziel auf dem Spiel; sie halten Einsätze (engl. stakes). Es können aktiv am Evaluationsgegenstand Beteiligte von passiv Betroffenen unterschieden werden. Die Trennlinie zwischen Stakeholdern einerseits und Evaluationsinteressierten bzw. Adressierten der Evaluation andererseits kann nicht immer scharf gezogen werden. (Synonym: Anspruchsgruppen)

engl.: stakeholders (of a programme)
frz.: parties prenantes (d’un programme)
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Stakeholder (eines Programms)

 

Programme sind definierte und durchgeführte, intentional aufeinander bezogene Bündel von Aktivitäten, Interventionen, Maßnahmen, Projekten oder Teilprogrammen. Ein Programm besteht aus meist mehreren Interventionen. Es wird auf der Basis von verfügbaren Ressourcen (Inputs) sowie beeinflusst durch weitere Bedingungsfaktoren durchgeführt und ist darauf gerichtet, mittels bereitgestellter Leistungen (Outputs) bestimmte Veränderungen/Stabilisierungen bei bezeichneten Zielgruppen (Outcomes) oder in Organisationen bzw. sozialen Systemen (Impacts) auszulösen. Evaluationsgegenstand können sowohl das Konzept des Programms, als auch seine Umsetzung (Aktivitäten bzw. Interventionen) und seine Resultate sein. Je nach Evaluationsfeld hat das Wort „Programm“ eine andere Bedeutung – hier ist es ein Fachbegriff der Evaluationssprache. Programme unterscheiden sich u. a. in ihrer Größe, z. B. gemessen in eingesetzten Finanzmitteln, ihrer Dauer (von wenigen Stunden bis viele Jahre), der Anzahl der beteiligten oder betroffenen Stakeholder und in ihrem Komplexitätsgrad.

engl.: programme
frz.: programme
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Programm

 

Ziele sind in der Zukunft liegende, erwünschte Zustände, die durch ein Programm ausgelöst werden sollen. Es handelt sich um einfache bis komplexe gedankliche Vorwegnahmen künftiger Situationen. Wenn sich die Agierenden diese Ziele zu Eigen machen (Selbstverpflichtung), können sie individuelles und kollektives Handeln darauf ausrichten und abstützen. Vielfach sind Ziele implizit, werden stillschweigend als geltend unterstellt (stillschweigendes Wissen). In der Evaluation ist es jedoch wünschenswert, dass für die Evaluationsgegenstände Ziele expliziert, d. h. verschriftlicht sind. Als Konkretionsstufen von Programmzielen werden Leitziele, Mittlerziele und Detailziele (auch Praxis- oder Handlungsziele) unterschieden, die zusammengefügt und aufeinander abgestimmt ein Zielsystem bilden. Vielfach werden Kriterien zur Bewertung von Programmen aus Zielen abgeleitet. Eine Alternative hierzu stellt die zielfreie Evaluation dar.

engl.: programme goals; aims; objectives
frz.: objectifs (d’un programme)
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Ziele (eines Programms)
Hier geht es zur Zielfindung und Zielklärung: Qs 21 Zielfindung und Zielklärung - Ein Leitfaden
 

 

 

 

Bei der zielfreien Evaluation wird versucht, alle Auswirkungen eines Evaluationsgegenstands erfassen, unabhängig von vorherbestimmten Zielen. Dieses Vorgehen soll eine größere Aufgeschlossenheit der Evaluierenden gegenüber nicht-intendierten Resultaten sichern und insbesondere davor bewahren, schwerwiegende negative nicht beabsichtigte Resultate zu übersehen.

engl.: goal-free evaluation
frz.: évaluation hors d'objectifs
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Zielfreie Evaluation

 

Als Auswirkungen werden in der Alltagssprache Erfolge bzw. Misserfolge eines Programms bezeichnet, wobei ein Zusammenhang zwischen konkreten Intervention eines Programms und einem Resultat (bspw. verbesserter sozialer Status) unterstellt wird, ohne dass ein Wirkungsnachweis erbracht wäre. Nicht nur in der Alltagssprache sondern auch in wissenschaftlichen Publikationen oder Evaluationsberichten werden Auswirkungen mit Wirkungen oftmals gleichgesetzt, was zu ungültigen Ergebnissen führt.

engl.: consequences (of a programme)
frz.: retombées (d'un programme)
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Auswirkungen (eines Programms)

 

Interventionen sind zielorientierte Aktivitäten der in einem Programm tätigen Personen, welche direkt auf die Auslösung von Resultaten, insbesondere Outcomes gerichtet sind. In detaillierten logischen Modellen (bspw. dem Programmbaum) ist ausgewiesen, welche spezifischen Interventionen zur Erreichung welcher Resultate eingesetzt werden.
Die Programmtheorie enthält darüber hinaus theoretisch begründete oder empirisch belegte Erklärungen dazu, weshalb von spezifischen Interventionen erwartet wird, dass sie bestimmte Resultate auslösen.
Beispiele für Interventionen in einem pädagogischen Programm sind z.B. ein informierender Unterrichtseinstieg, Vorträge von Lehrenden, Stellen von Aufgaben an Lernende, Feedback an Lernende.

engl.: programme interventions
frz.: interventions (d’un programme)
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Interventionen (eines Programms)

 

Logische Modelle geben die (Ablauf-)Logik eines Programms wieder. Sie können z.B. als textbasierte (z. B. Tabelle) oder visuelle (z. B. Flussdiagramm) Veranschaulichungen dargestellt werden.
Logische Modelle sollten zur optimalen Anwendbarkeit nach den generische Elemente von Programmen gegliedert sein (Inputs/Ressourcen, Aktivitäten, Outputs, Outcomes, Impacts). Teilweise werden auch die angenommenen Verbindungen zwischen diesen Programmelementen z. B. mittels Pfeilen verdeutlicht.
Anders als bei einer visuellen Darstellung einer Programmtheorie - die man auch als ein weiter entwickeltes Logisches Modell bezeichnen könnte - ist die Explikation von kausalen Verbindungen zwischen den Elementen nicht erforderlich.
Das logische Modell dient Programmzuständigen sowie Evaluierenden als Strukturierungshilfe und Kommunikationsgrundlage über das Programm, zur Erstellung eines Plans zum Monitoring sowie zur Fokussierung einer Evaluation. Obwohl die (vereinfachende) grafische Darstellung dies nahelegt, sind die in Logischen Modellen abgebildeten Programme selten linear, sondern komplex und schleifenartig verknüpft.

engl.: logic model
frz.: cadre logique
Hier geht es zum vollständigen Eintrag im Glossar der Evaluation: Logisches Modell