„Leitprinzipien“ für Evaluatoren

Das englischsprachige Original ist von der American Evaluation Association, Task Force on Guiding Principles for Evaluators erstellt worden. Es ist abgedruckt in New Directions for Program Evaluation, no. 66 (Summer 1995), San Francisco (Jossey Bass). Copyright Ó 1995 by American Evaluation Association. Die folgende Version ist übersetzt und abgedruckt mit Erlaubnis der American Evaluation Association. Übersetzung von Wolfgang Beywl, Köln; Als Diplomübersetzerin mitgewirkt hat Frau Monika Köller, Algier.

I. Einführung
(nicht abgedruckt)

II. Vorwort: Annahmen zur Entwicklung von Prinzipien

A.
Evaluation ist ein Fachgebiet, das von Personen mit unterschiedlichen Interessen geprägt ist und die folgenden Bereiche umfasst, ohne darauf begrenzt zu sein: Evaluation von Programmen, Produkten, Personal, Politik, Leistung, Vorschlägen, Technologien, Forschung, Theorien, und sogar von Evaluation selbst. Diese Prinzipien sind breit angelegt, um alle Arten von Evaluation zu abzudecken.

B.
Aufgrund von Unterschieden in Ausbildung, Erfahrung und Arbeitsfeldern gibt es im Berufsstand der Evaluation vielfältige Anschauungen über den hauptsächlichen Zweck von Evaluation. Dazu gehören u.a.: Verbesserung in den Bereichen Produkte, Personal, Programme, Organisationen, Regierungen, Verbraucher und öffentliches Interesse; Unterstützung für informierte Entscheidungsfindung und aufgeklärtere Veränderung; Beschleunigen notwendiger Veränderung; Stärkung aller Beteiligtengruppen durch ihre Berücksichtigung als Informationsgeber und ihren Einbezug in den Evaluationsprozeß; die aufregende Erfahrung, neue Einsichten zu gewinnen. Trotz dieser Vielfalt verbindet die Evaluatoren ein gemeinsames Ziel: Sie streben danach, die bestmöglichen Informationen über den Wert dessen, was auch immer bewertet werden soll, herauszuarbeiten und bereitzustellen. Die Prinzipien sollen dieses Hauptziel fördern.

C.
Die Absicht der Kommission war es, Prinzipien festzulegen, die dem Evaluator in der beruflichen Praxis helfen und den Auftraggeber sowie die allgemeine Öffentlichkeit darüber informieren sollen, was sie von professionellen Evaluationen erwarten können. Natürlich können bei der Festlegung von Prinzipien niemals alle Situationen vorhergesehen werden, die in der Evaluationspraxis vorkommen. Jedoch sind Prinzipien nicht nur Richtlinien dafür, wie man reagieren soll, wenn etwas mißglückt oder wenn sich eine schwierige Situation auftut. Vielmehr sollen die Prinzipien das Vorgehen der Evaluatoren bei der täglichen Arbeit proaktiv leiten.

D.
Die Festlegung von Leitprinzipien soll dazu dienen, die kontinuierliche Entwicklung des Fachgebiets Evaluation und die berufliche Sozialisation der Evaluatoren zu fördern. Die Prinzipien sollen zur Diskussion anregen und eine Grundlage zum Dialog zwischen den Angehörigen des Berufsstandes, den Geldgebern und anderen an Evaluation interessierten Gruppen oder Personen über die sachgemäße Durchführung und Anwendung von Evaluationen bieten.

E.
Die fünf Prinzipien, die in diesem Bericht vorgeschlagen werden, sind nicht unabhängig sondern überlappen sich auf vielfältige Art und Weise. Andererseits stehen diese Prinzipien manchmal auch im Widerspruch zueinander, so daß die Evaluatoren eine Entscheidung treffen müssen. In solchen Fällen müssen die Evaluatoren auf ihre eigenen Wertvorstellungen und Kenntnisse der Situation zurückgreifen, um einen geeigneten Weg zu wählen. Jedesmal wenn die Vorgehensweise unklar ist, sollten Evaluatoren vor ihrer Entscheidung den Rat von Fachkollegen einholen, wie das Problem zu lösen sei.

F.
Diese Prinzipien sollen an die Stelle von allen vorangegangenen Ausführungen zu Standards, Prinzipien oder Maßstäben treten, die von ERS oder ENet - den beiden Vorgängerorganisationen der AEA - erarbeitet oder übernommen wurden. Die Prinzipien stellen die offizielle Position der AEA in dieser Angelegenheit dar.

G. Jedes Prinzip wird durch eine Reihe von Aussagen erläutert, um die Tragweite des übergeordneten Prinzips deutlich zu machen und Anleitung für seine Anwendung zu geben. Diese Aussagen dienen der Veranschaulichung. Sie umfassen nicht alle möglichen Anwendungen des Prinzips, noch sollten sie als Regeln betrachtet werden, die die Grundlage für Sanktionen bei Verstößen darstellen.

H.
Diese Prinzipien sollen Standards, die von Evaluatoren oder anderen mit Evaluation beschäftigten Berufszweigen aufgestellt wurden, nicht ersetzen. Die AEA spezialisiert sich darauf, die Entwicklung von Standards für pädagogische Evaluationen des Joint Committee on Standards for Educational Evaluation (von der AEA mitfinanziert) zu unterstützen.

I.
Die Prinzipien wurden im Kontext westlicher Kulturkreise entwickelt, insbesondere dem der Vereinigten Staaten, so daß sie diesbezogene Erfahrungen widerspiegeln. Die Bedeutung der Prinzipien kann in anderen Kulturen sowie auch in Subkulturen innerhalb der Vereinigten Staaten unterschiedlich sein.

J.
Die Prinzipien sind Teil eines fortlaufenden Prozesses der Selbstüberprüfung durch die Fachleute und sollten regelmäßig revidiert werden. Ein entsprechendes System könnte eine offiziell gesponserte Überprüfung der Prinzipien auf jährlichen Konferenzen oder anderen Foren beinhalten, auf denen die Erfahrungen mit den Prinzipien und ihrer Anwendung diskutiert werden. In regelmäßigen Abständen, mindestens alle fünf Jahre nach dem anfänglichen Inkrafttreten der Prinzipien, sollten diese auf eine eventuell nötige Überarbeitung und Änderung hin überprüft werden. Um die Bedeutung der Prinzipien und das Bewußtsein darüber auf allen Ebenen der Vereinigung aufrechtzuerhalten, sind alle AEA-Mitglieder aufgefordert, an dem Prozeß teilzunehmen.

III. Die Prinzipien
A.
Systematische Untersuchung: Evaluatoren führen systematische, auf Daten gestützte Untersuchungen über das jeweilige Evaluationsobjekt durch.

1. Evaluatoren sollten sich bei ihrer Arbeit an die höchsten geeigneten professionellen Standards halten, ungeachtet dessen, ob diese Arbeit quantitativer oder qualitativer Art ist. Auf diese Weise erhöht sich die Genauigkeit und Glaubwürdigkeit der von ihnen erstellten evaluativen Informationen.
   
2. Evaluatoren sollten mit den Auftraggebern Schwächen und Stärken erörtern, und zwar sowohl bezüglich der verschiedenen Evaluationsfragen, die zu stellen produktiv sein könnte, als auch bezüglich der verschiedenen Ansätze, die genutzt werden könnten, um diese Fragen zu beantworten.
   
3. Wenn sie ihre Arbeit vorstellen, sollten die Evaluatoren ihre Methoden und Ansätze genau und detailliert genug darlegen, um es anderen zu ermöglichen, ihre Arbeit zu verstehen, zu interpretieren und zu kritisieren. Sie sollten die Grenzen einer Evaluation und ihrer Ergebnisse klarmachen. Des weiteren sollten Evaluatoren in einem angemessenen Rahmen diejenigen Werte, Annahmen, Theorien, Methoden, Ergebnisse und Analysen diskutieren, welche die Interpretation der Evaluationsergebnisse signifikant beeinflussen könnten. Diese Aussagen gelten für alle Aspekte der Evaluation, von ihrer ursprünglichen Konzeptualisierung bis hin zum Gebrauch ihrer Ergebnisse.

B.
Kompetenz: Evaluatoren stellen den Beteiligtengruppen professionelle Leistungen zur Verfügung.

1. Evaluatoren sollten über geeignete Ausbildung, Fähigkeiten, Fertigkeiten und Erfahrungen verfügen (bzw. sicherstellen, daß das Evaluationsteam darüber verfügt), um die Aufgaben zu erledigen, die in der Evaluation vorgesehen sind.
   
2. Evaluatoren sollten innerhalb der Grenzen ihrer beruflichen Ausbildung und Kompetenz handeln und es ablehnen, Evaluationen durchzuführen, die diese Grenzen erheblich überschreiten. Wenn es nicht möglich oder nicht angeraten ist, den Auftrag oder die Anfrage abzulehnen, sollten die Evaluatoren auf jede signifikante Begrenzung hinweisen, die sich daraus für die Evaluation ergeben könnte. Evaluatoren sollten keine Mühe scheuen, um die nötige Kompetenz zu erwerben, sei es direkt oder durch Zusammenarbeit mit anderen, welche die erforderlichen Kenntnisse besitzen.
   
3. Evaluatoren sollten sich ständig darum bemühen, ihre Kompetenzen zu konsolidieren und zu verbessern, um in ihren Evaluationen den höchsten Leistungsstandard zu sichern. Diese ständige professionelle Verbesserung mag formelle Lehrgänge und Workshops einschließen, sowie Selbststudium, die Evaluation der eigenen Vorgehensweise und die Zusammenarbeit mit anderen Evaluatoren, um von ihren Fähigkeiten und ihren Fachkenntnissen zu lernen.

C.
Integrität/Aufrichtigkeit: Evaluatoren garantieren Aufrichtigkeit und Integrität während des gesamten Evaluationsprozesses.

1. Evaluatoren sollten über die Kosten, die auszuführenden Aufgaben, die Begrenzungen der Methodologie, die Reichweite der voraussichtlich zu erzielenden Ergebnisse und die möglichen Nutzungen der Daten, die von einer bestimmten Evaluation zu erwarten sind, aufrichtig mit den Auftraggebern und wichtigen Beteiligtengruppen verhandeln. Es ist vorrangig die Aufgabe des Evaluators, diese Diskussion und Klärung zu initiieren, nicht die des Auftraggebers.
   
2. Evaluatoren sollten alle Veränderungen, die gegenüber dem ursprünglich ausgehandelten Projektplan vorgenommen worden sind, einschließlich der Gründe dafür, schriftlich festhalten. Sollten diese Abänderungen signifikant die Reichweite und die zu erwartenden Ergebnisse der Evaluation beeinträchtigen, sollte der Evaluator den Auftraggeber und andere wichtige Beteiligtengruppen innerhalb kurzer Zeit (wenn keine guten Gründe dagegen sprechen, bevor man mit der Arbeit fortfährt) über die Veränderungen und deren wahrscheinliche Auswirkungen informieren.
   
3. Evaluatoren sollten zu bestimmen versuchen und wo angemessen auch offenlegen, was ihre eigenen Interessen und was die Interessen ihrer Auftraggeber und anderer Beteiligtengruppen in Hinblick auf die Ausführung und die Resultate einer Evaluation sind (einschließlich finanzieller, politischer und karrierebezogener Interessen).
   
4. Evaluatoren sollten über solche Rollen oder Beziehungen hinsichtlich des Evaluationsobjekts informieren, die sie in einen ernsthaften Interessenkonflikt mit ihrer Rolle als Evaluator bringen könnten. Jeder Konflikt dieser Art sollte in Berichten über die Evaluationsergebnisse erwähnt werden.
   
5. Evaluatoren sollten ihre Verfahren, Daten oder Ergebnisse nicht falsch darstellen. Im Rahmen vertretbarer Grenzen sollten sie jeden groben Mißbrauch ihrer Arbeit durch andere zu verhindern oder zu korrigieren versuchen.
   
6. Sollten Evaluatoren feststellen, daß bestimmte Verfahren oder Tätigkeiten leicht zu irreführenden Informationen oder Schlußfolgerungen führen, so haben sie die Verantwortung, ihre Besorgnisse und die Gründe dafür dem Auftraggeber (demjenigen, der die Evaluation finanziert oder in Auftrag gegeben hat) mitzuteilen. Wenn diese Besorgnisse in Gesprächen mit dem Auftraggeber nicht beseitigt werden können, so daß eine irreführende Evaluation durchgeführt wird, ist der Evaluator berechtigt, die Ausführung der Evaluation abzubrechen, soweit dies möglich und angemessen ist. Ist ein Abbruch nicht möglich, sollte sich der Evaluator mit Kollegen oder relevanten Beteiligtengruppen darüber beraten, welche anderen geeigneten Wege eingeschlagen werden könnten (möglich wären unter anderem Diskussionen auf einer höheren Ebene, das Verfassen eines Begleitbriefs oder eines Anhangs, der die Nichtübereinstimmung festhält, oder die Weigerung, das abschließende Dokument zu unterschreiben).
   
7. Sofern nichts dagegen spricht, sollten Evaluatoren offenlegen, wer die Evaluation finanziert und wer den Auftrag dafür gegeben hat.

D.
Achtung gegenüber den Menschen: Evaluatoren respektieren die Sicherheit, Würde und das Selbstwertgefühl der Antwortenden, Programmteilnehmer, Auftraggeber und anderer Beteiligtengruppen, mit denen sie in Interaktion stehen.

1. Soweit anwendbar, müssen sich Evaluatoren an die gängigen Maßstäbe und Standards ihres Berufsstandes halten, in Hinblick auf
   
   · Risiken, Beeinträchtigungen und Belastungen, welche die Evaluation eventuell für die Teilnehmenden mit sich bringt;
   · informiertes Einverständnis zur Teilnahme an der Evaluation;
   · Information der Teilnehmenden über die Reichweite und die Grenzen von Vertraulichkeit.
   
   Beispiele für solche Standards sind bundesweite Regelungen zum Schutz der Persönlichkeit oder die ethischen Prinzipien von Organisationen wie der Amerikanischen Anthropologischen Gesellschaft, der Amerikanischen Gesellschaft für Erziehungswissenschaftliche Forschung oder der Amerikanischen Psychologischen Gesellschaft. Obwohl dieses Prinzip die Anwendbarkeit solcher ethischen Maßstäbe und Standards nicht über ihre gegenwärtige Reichweite ausdehnen soll, sollten sich Evaluatoren doch daran halten, soweit dies möglich und wünschbar ist.
   
2. Da berechtigte negative oder kritische Schlußfolgerungen, die sich aus einer Evaluation ergeben, klar geäußert werden müssen, können Evaluationen manchmal Ergebnisse hervorbringen, die den Interessen von Auftraggebern oder Beteiligtengruppen schaden. In diesem Falle sollten Evaluatoren versuchen, die Vorteile zu maximieren und jeden unnötigen Schaden zu vermeiden, vorausgesetzt, daß dies die Integrität der Evaluationsergebnisse nicht über Gebühr beeinträchtigt. Evaluatoren sollten jedesmal sorgfältig abwägen, wann wegen möglicher Risiken oder Verletzungen auf die Vorteile der Ausführung einer Evaluation oder bestimmter Evaluationsverfahren verzichtet werden sollte. Soweit möglich, sollte diese Frage bereits während der Verhandlungen über den Evaluationsauftrag geklärt werden.
   
3. In Kenntnis der Tatsache, daß Evaluationen häufig die Interessen bestimmter Beteiligtengruppen verletzen werden, sollten Evaluatoren die Evaluation so durchführen und ihre Ergebnisse so vermitteln, daß die Würde und der Selbstwert der Beteiligtengruppen deutlich respektiert werden.
   
4. Soweit möglich, sollten Evaluatoren Gegenseitigkeit im Evaluationsprozeß anstreben, so daß diejenigen, die etwas für die Evaluation tun, im Gegenzug auch gewissen Nutzen davon haben. Beispielsweise sollten Evaluatoren versuchen sicherzustellen, daß diejenigen, welche es auf sich nehmen, Daten beizusteuern und jedwede Risiken einzugehen, dies freiwillig tun, vollständige Kenntnis haben über den Nutzen, den die Evaluation vielleicht hervorbringt, und so weit wie möglich davon profitieren. Soweit dies nicht die Integrität der Evaluation gefährdet, sollten Untersuchungs- oder Programmteilnehmer darüber informiert werden, ob und wie sie Leistungen erhalten können, auf die sie auch dann ein Recht haben, wenn sie nicht an der Evaluation teilnehmen.
   
5. Evaluatoren haben die Verantwortung, Unterschiede zwischen den Teilnehmern festzustellen und zu respektieren - z. B. Unterschiede aufgrund von Kultur, Religion, Geschlecht, Behinderung, Alter, sexueller Orientierung und ethnischer Zugehörigkeit - und die möglichen Implikationen dieser Unterschiede bei der Planung, Durchführung, Analyse und Berichterstattung der Evaluation zu berücksichtigen.

E.
Verantwortung für das allgemeine und öffentliche Wohl: Evaluatoren artikulieren die vielfältigen Interessen und Werte, die möglicherweise in Beziehung zum allgemeinen und zum öffentlichen Wohl stehen, und berücksichtigen diese in ihren Überlegungen.

1. Bei der Evaluationsplanung und -berichterstattung sollten Evaluatoren die Sichtweisen und Interessen sämtlicher Beteiligtengruppen hinsichtlich des Evaluationsobjekts mit einbeziehen. Evaluatoren sollten sorgfältig überlegen, ob es vertretbar ist, wichtige Wertperspektiven oder die Sichtweisen bedeutender Gruppen auszulassen.
   
2. Evaluatoren sollten nicht nur die unmittelbaren Handlungen und Ergebnisse der Evaluation abwägen, sondern auch die weiteren Annahmen, Implikationen und möglichen Nebeneffekte.
   
3. Informationsfreiheit ist ein wesentliches Element einer Demokratie. Daher sollten Evaluatoren - wenn nicht zwingende Gründe dagegen sprechen - allen wichtigen Beteiligtengruppen den Zugang zu den Evaluationsdaten ermöglichen. Falls es die Ressourcen erlauben, sollten sie diese Informationen den Beteiligtengruppen aktiv übermitteln. Wenn unterschiedliche Evaluationsergebnisse mitgeteilt werden, diese also auf die Interessen verschiedener Beteiligtengruppen zugeschnitten sind, so sollte durch die Mitteilungen sichergestellt werden, daß sich jede Beteiligtengruppe über die Existenz der anderen Berichte im Klaren ist. Berichte, die auf einen bestimmten Beteiligten zugeschnitten werden, sollten immer alle wichtigen Resultate einschließen, die sich auf die Interessen dieses bestimmten Beteiligten beziehen. In jedem Fall sollten sich die Evaluatoren darum bemühen, Ergebnisse klar und einfach zu präsentieren (soweit dies der Anspruch auf Genauigkeit erlaubt), damit die Auftraggeber und andere Beteiligtengruppen den Evaluationsprozeß und seine Ergebnisse leicht verstehen können.
   
4. Evaluatoren sollten ein Gleichgewicht aufrecht erhalten zwischen den Bedürfnissen des Auftraggebers und anderen Bedürfnissen. Evaluatoren haben notwendigerweise eine besondere Beziehung zum Auftraggeber, der die Evaluation finanziert oder in Auftrag gibt. Aufgrund dieser Beziehung müssen sich Evaluatoren dafür einsetzen, die legitimen Bedürfnisse des Auftraggebers zu erfüllen, wenn immer dies möglich und angemessen ist. Jedoch kann diese Beziehung den Evaluator auch in schwierige Situationen bringen, nämlich wenn die Auftraggeberinteressen mit anderen Interessen oder mit den Verpflichtungen des Evaluators zu systematischer Untersuchung, Kompetenz, Integrität und Respekt gegenüber den Menschen in Konflikt stehen. In solchen Fällen sollten Evaluatoren
   · diese Konflikte klar feststellen und mit dem Auftraggeber und wichtigen Beteiligtengruppen darüber diskutieren,
   · soweit wie möglich diese Konflikte lösen,
   · bestimmen, ob es ratsam ist weiterzuarbeiten, wenn die Konflikte nicht gelöst werden können,
   · und jede signifikante Begrenzung der Evaluation klarmachen, die einträte, wenn der Konflikt nicht gelöst wird.
   
5. Evaluatoren haben Verpflichtungen, die das öffentliche Interesse und Wohl umfassen. Diese Verpflichtungen sind besonders dann von Wichtigkeit, wenn Evaluatoren durch öffentlich finanzierte Mittel unterstützt werden. Offensichtliche Bedrohungen des öffentlichen Wohls sollten in keiner Evaluation unbeachtet bleiben, da das öffentliche Interesse und Wohl so gut wie nie mit den Interessen von Einzelgruppen (dazu zählen auch der Auftraggeber oder die finanzierende Einrichtung) übereinstimmt. So werden die Evaluatoren normalerweise über die Analyse der Interessen einer bestimmten Beteiligtengruppe hinausgehen müssen, wenn sie das Wohlergehen der Gesellschaft als Ganzes in Betracht ziehen.

Sandra Speer [Kontakt]
Juni 2004