Im Team von Univation wird seit längerem darüber diskutiert, wann Signifikanztests gerechnet und in Berichten ausgewiesen werden sollen.
Die hierzu erarbeitete Position ist nach Einholen von Expertise von Kooperationspartnern und Statistik-Fachleuten zu einem Papier verarbeitet worden, das wir der Fachöffentlichkeit vorstellen.
Eine Beteiligung an einer Diskussion im forum-evaluation kann dazu beitragen, die dort formulierte Stellungnahme kritisch zu überprüfen.
Hier finden Sie die Stellungnahme!
Evaluationen stützen häufig die Bewertung eines Programms darauf ab, welchen Unterschied es macht, sei es gegenüber der Ausgangssituation davor, oder gegenüber einer Vergleichsgruppe ohne Programmteilnahme. Hierfür werden Aussagen zur Signifikanz von datenbasierten Ergebnissen gemacht. Das Wort Signifikanz hat zwei ganz verschiedene Konnotationen: einmal statistisch, einmal praktisch. Diese beiden Terme werden zunächst geklärt. Irrtümlicherweise werden oft für beide Sachverhalte statistische Signifikanztests berechnet und in Evaluationsberichten ausgewiesen. Dieser Beitrag klärt, unter welchen Umständen solche Testverfahren der schließenden Statistik sinnvoll und zulässig sind und formuliert hierfür schrittweise anwendbare Regeln, deren Einhaltung zu genaueren und glaubwürdigeren Evaluationen beiträgt. Abschließend wird kurz angesprochen, wie praktische Signifikanz oder Bedeutsamkeit bestimmt werden kann.
Im Anhang finden sich die Definitionen der knapp 50 verwendeten Fachbegriffe aus dem Glossar der wirkungsorientierten Evaluation.