Nützliche Materialien aus dem Bereich Evaluation

Signifikanztests in der Evaluation

Im Team von Univation wird seit längerem darüber diskutiert, wann Signifikanztests gerechnet und in Berichten ausgewiesen werden sollen.
Die hierzu erarbeitete Position ist nach Einholen von Expertise von Kooperationspartnern und Statistik-Fachleuten zu einem Papier verarbeitet worden, das wir der Fachöffentlichkeit vorstellen.

Eine Beteiligung an einer Diskussion im forum-evaluation kann dazu beitragen, die dort formulierte Stellungnahme kritisch zu überprüfen.

Hier finden Sie die Stellungnahme!

Eva die Evaluatorin - ein Evaluationsbilderbuch

Dies ist eine Geschichte, die heute vielen Eltern und ihren Kindern passiert: Die Kinder fragen, was die Eltern für einen Beruf haben. Eine kindgerechte Antwort darauf ist oft schwer. Das Bilderbuch baut eine Brücke für Eltern, die als ihren Beruf "Evaluator" oder "Evaluatorin" angeben. Es erzählt, wie Eva ihren Vater, einen weitgereisten Evaluator, ausfragt. Sie macht sich aus seinen Antworten eigene Bilder. Birgit Stadler hat sie in lebendigen Buntstiftzeichnungen festgehalten. Eva stösst auch auf die Schattenseiten des Berufs, verkörpert durch einige boshafte Figuren. Dem Vater hilft sie mit ihren Fragen, seinen Beruf zu erklären.

Literatur- und Forschungsdatenbanken in der Evaluation

Evaluatorinnen und Evaluatoren müssen oft in knapper Zeit Literatur und vorliegende Evaluationen/Forschungen zu speziellen Themen recherchieren. Dazu stehen im deutschsprachigen und insbesondere im englischsprachigen Raum zahlreiche Datenbanken zur Verfügung. Die vorliegende Sammlung von Datenbanken soll als Orientierungshilfe für die Suche nach evaluationsspezifischen Inhalten dienen und gleichzeitig Hinweise zur Weiterentwicklung der Datenbanken aus Sicht der Bedarfe der Evaluationsdisziplin geben.

Rund um den Evaluationsbegriff

Evaluation bezeichnet die systematische, datenbasierte Beschreibung und Bewertung von Programmen (z. B. Hilfe- oder Beratungskonzeptionen), zeitlich beschränkten Projekten (z. B. Modellvorhaben) oder Institutionen (z. B. Zulassung von Trägern) in Bildung, Sozialer Arbeit, Gesundheitswesen u. a..

Fragen & Antworten

Erfolg bezeichnet ein positiv bewertetes, intendiertes Resultat eines Evaluationsgegenstands. Erfolg liegt vor, wenn die Resultate den gesetzten Kriterienpunkten entsprechen, die oft abgeleitet sind aus Zielen des Programms. Ein Erfolg kann sowohl für eine einzelne Kriteriendimension konstatiert werden, als auch für das Programm insgesamt, was eine Bewertungssynthese erfordert. Im letzten Fall kann man zusammenfassend von Programmerfolg sprechen.

engl.: succes (of a programme)
frz.: réussite (dùn programme)

Glossar der Evaluation unter www.eval-wiki.org

Die Nachhaltigkeit ist eine Kriteriendimension, die beinhaltet, dass ein Evaluationsgegenstand über den Zeitpunkt/den Raum hinaus, in dem er ursprünglich mit Erfolg eingesetzt wurde, mit Erfolg eingesetzt werden wird. Da der Zeitpunkt in der Zukunft liegt, handelt es sich um eine Prognose; so können verschiedene Ausformungen der Systemumwelt eines Evaluationsgegenstandes die Nachhaltigkeit eines Programms nachträglich befördern oder einschränken.


engl.: sustainability (of programmes)
frz.: durabilité (de programmes)


Glossar der Evaluation unter www.eval-wiki.org

Die Übertragfähigkeit ist eine Kriteriendimension für Programme, die der Kriteriendimension Nachhaltigkeit zeitlich und logisch vorgeschaltet ist. Sie gibt an, ob und in welchem Umfang ein zu einem Zeitpunkt/an einem Ort/in einem Kontext erfolgreiches Programm an anderen Orten/zu anderen Zeitpunkten/unter anderen Kontexten vergleichbar gute Resultate zu erreichen im Stande ist. Kriterien aus der Software-Evaluation können die Konkretisierung dieser Dimension anregen: z. B. Anpassungsfähigkeit an andere Bedingungen oder die Fähigkeit zur Koexistenz mit anderen Programmen.

engl.: portability (of programmes)
frz.: portabilité (des programmes)

Glossar der Evaluation unter https://eval-wiki.org/glossar/%C3%9Cbertragf%C3%A4higkeit_(von_Programmen)

Die Bedeutsamkeit beschreibt die aktuelle und künftige Wichtigkeit, Sichtbarkeit sowie den (potenziellen) Impact eines Programms für die (Welt-)Gesellschaft. Sie zeigt sich insbesondere an der Langlebigkeit und der Übertragfähigkeit des Programms. Bedeutsamkeit ist eine generische Kriteriendimension für die Bewertung von Programmen, das heißt sie ist allgemein und grundsätzlich anwendbar. Bedeutsamkeit in diesem Sinne kann mit der Tauglichkeit (eines Programms) für dessen Stakeholder vereinbar sein, kann aber auch in Gegensatz zu dieser geraten.
Synonym: Signifikanz, praktische.

engl.: significance (of a programme)
frz.: signification (d’un programme)

Glossar der Evaluation unter www.eval-wiki.org

Die Tauglichkeit beschreibt den Wert eines Evaluationsgegenstands im Sinne des Gebrauchswerts für konkrete Zielgruppen in bestimmten Situationen und zu angegebenen Zeitpunkten. Wenn die Tauglichkeit eines Programms durch eine Evaluation belegt ist, heißt dies nicht automatisch, dass dasselbe Programm auch in anderen Verwendungssituationen funktionieren wird. Insbesondere die Bedingungen unter denen das Programm umgesetzt wird müssen auf hinreichende Ähnlichkeit geprüft werden. Eine Übertragung der Evaluationsergebnisse, z. B. von einem oder mehreren lokalen Fällen auf eine ganzes Land, erfordert eine genaue Prüfung, da die Tauglichkeit je nach Kontext dramatisch variieren kann. Tauglichkeit ist eine generische Kriteriendimension für die Bewertung von Programmen, das heißt sie ist allgemein und grundsätzlich anwendbar.

engl.: worth (of a programme)
frz.: aptitude (d’un programme)

http://eval-wiki.org/glossar/Tauglichkeit_%28eines_Programms%29

Die Güte beschreibt den „intrinsischen“ Wert eines Evaluationsgegenstands. Das meint im Falle eines Programms beispielsweise die Stringenz und aktuelle fachwissenschaftliche Abstützung des Konzepts. Güte ist zeitlich und räumlich überdauernd und eine generische Kriteriendimension für die Bewertung von Programmen, das heißt sie ist allgemein und grundsätzlich anwendbar.

engl.: merit (of a programme)
frz.: mérite (d'un programme)

http://eval-wiki.org/glossar/G%C3%BCte_%28eines_Programms%29

Der Nutzen einer Evaluation oder der Evaluationsergebnisse ist die vorgesehene oder tatsächlich eingetretene erwünschte Folge der Evaluation, die z. B. über einen Zuwachs an Wissen oder eine Stärkung der Handlungsbereitschaft bei den Adressierten von Evaluationen entstehen (soll). Der Nutzen kommt dadurch zustande, dass Evaluationsergebnisse gebraucht (i. S. v. benutzt) werden oder dass der Evaluationsprozess selbst positive Auswirkungen hat (Prozessnutzen). Der Nutzen einer Evaluation kann auf der Ebene des Programms, aber auch bspw. in politischen Entscheidungsprozessen auftreten.

engl.: use (of the evaluation/of the evaluation findings)
frz.: bénéfice (d'évaluation / des conclusions d'évaluation)

http://eval-wiki.org/glossar/Nutzen_%28der_Evaluation/der_Evaluationsergebnisse%29

Ein Parameter ist eine statistische Maßzahl, welche eine Eigenschaft einer Menge von Daten beschreibt, und damit eine verdichtete Information über diese Datenmenge bereitstellt. Mit Hilfe solcher Kennwerte können mehreren Datenmengen verglichen werden. Beispiele sind das arithmetische Mittel, der Median und die Standardabweichung. Wenn relevante Kennwerte einer Häufigkeitsverteilung bekannt sind, kann diese auch ohne Kenntnis der Einzeldaten teilweise oder vollständig rekonstruiert werden. In der schließenden oder Inferenzstatistik wird von bekannten (erhobenen) Parametern einer Stichprobe mit einer bezifferbaren Wahrscheinlichkeit auf nicht bekannte Parameter in einer Grundgesamtheit 'geschlossen'.

engl.: parameter
frz.: paramètre

http://eval-wiki.org/glossar/Parameter

Kriterienpunkte sind Wendepunkte im Verlauf der Ausprägungen eines operationalisierten Kriteriums, an dem die Bewertung des Evaluationsgegenstands entweder umschlägt (von negativ auf positiv oder umgekehrt), oder die Übergänge zwischen Graden positiver bzw. negativer Bewertung markiert werden (z. B. zwischen "gut" und "sehr gut").

engl.: criterion point [standard; cut score]
frz.: repère/point de critère

http://eval-wiki.org/glossar/Kriterienpunkt

Operationalisierte Kriterien sind Kriterien, die durch Indikatoren standardisiert sind, wobei eine Bewertungsskala entsteht, auf der ein oder mehrere Kriterienpunkte festgelegt werden. Die Bewertungsskala dient als Maßstab für die Bewertung des Evaluationsgegenstands (z. B. bzgl. seines Erfolgs) oder für Entscheidungen (z. B. für oder gegen die Verlängerung eines Programms).

engl.: operationalised criteria
frz.: critères opérationnalisés

http://eval-wiki.org/glossar/Kriterien,_operationalisierte

Seiten