Patientendossiers werden zwar archiviert, aber es ist beinahe unmöglich, sie innert nützlicher Frist zu finden, wenn sie gebraucht werden. Funktionierende Computer und eine IT-Infrastruktur fehlen an den meisten Spitälern

«Kein verantwortungsvoller Arzt würde Medikamente verschreiben, deren Wirkungen und Nebenwirkungen nicht fachgerecht überprüft wurden. Doch bei sozialen Entwicklungsprogrammen, in die enorme Summen fliessen, fehlt es an solchen Standards.» Diese ernüchternde Feststellung machte 2006 eine Arbeitsgruppe des Washingtoner Center for Global Development in einem Report mit dem provokativen Titel «When Will We Ever Learn? Improving Lives Through Impact Evaluation». Die Experten bemängelten darin Lücken bei der Evaluation von Wirkungen der Entwicklungszusammenarbeit und riefen zu einem systematischen Aufbau evidenzbasierter Entscheidgrundlagen auf.

Am kritischen Washingtoner Report mitgearbeitet hatte auch die Ökonomin und Armutsforscherin Esther Duflo, die bereits 2003 das Poverty Action Lab J-PAL mitbegründet hatte. Das am Massachusetts Institute of Technology beheimatete Forschungsinstitut setzt konsequent auf randomisierte Feldexperimente, um die Wirkung von entwicklungspolitischen Massnahmen wissenschaftlich sauber zu messen. So belegte Duflo in einer aufsehenerregenden Studie etwa, dass die vielgelobten Mikrokredite in Indien zwar die Armut minderten, das Leben der betroffenen Bevölkerung aber nicht im erhofften Mass verbesserten.

OECD-Kriterien sind die Richtschnur

Die Kritik an mangelnden Standards und der Appell für mehr Evidenzbasierung sind in der Fachwelt nicht ungehört verhallt. Als eine Antwort entstand 2008 die unabhängige International Initiative for Impact Evaluation (3ie). Sie vernetzt Wissenschaftler mit Politik und Praxis, organisiert Konferenzen zum Thema «Was funktioniert» und fördert evidenzbasierte Evaluierungen. Die NGO unterstützte seit ihrer Gründung über 200 Wirkungsstudien in 50 Ländern im Umfang von total rund 85 Millionen Dollar.

Parallel zur Wissenschaft haben auch die Geber- und Partnerländer im letzten Jahrzehnt ihre Evaluierungsinstrumente geschärft und professionalisiert. So wurde 2005 mit der Deklaration von Paris über die Wirksamkeit der Entwicklungs-zusammenarbeit die Basis für gemeinsame Qualitätsstandards gelegt. Der Entwicklungsausschuss der OECD definierte fünf Evaluierungskriterien: Relevanz, Effektivität, Effizienz, entwicklungspolitische Wirkungen und Nachhaltigkeit. Diese sind zwar nicht bindend, sind aber international als Leitlinien anerkannt.

«Bei der Evaluierung geht es auch darum herauszufinden, warum es zu einer Wirkung kommt.»Jörg Faust

Die Kriterien werden nicht zuletzt von der OECD selbst in Länderberichten überprüft. Bemängelt wird dabei immer wieder die fehlende Politkohärenz der Geberländer, etwa wenn die Aussenhandelspolitik den Zielen der Armuts-bekämpfung zuwiderläuft. Auch die Geberländer selber evaluieren die Wirksamkeit ihrer entwicklungspolitischen Massnahmen. Skeptiker bezweifeln jedoch die Unabhängigkeit der Evaluationsabteilungen, die in den meisten Ländern innerhalb der jeweiligen Organisation angesiedelt sind.

Mit der Mandatierung eines autonomen Instituts hat Deutschland einen neuen Weg beschritten. 2012 wurde das Deutsche Evaluierungsinstitut der Entwicklungs-zusammenarbeit (Deval) ins Leben gerufen. «Wir stellen einen hohen Anspruch an Wissenschaftlichkeit und Unabhängigkeit», betont Deval-Direktor und Politikwissenschaftler Jörg Faust. «Auch sind wir stark auf Praxisorientierung ausgerichtet und wollen Lernprozesse initiieren.» Die zu evaluierenden Themen seien meist vielschichtig und komplex und stellten insofern einen hohen Anspruch an inhaltliche wie methodische Expertise.

Eine aufgeklärte Debatte

Die methodische Herausforderung besteht laut Faust in der Grundfrage, «wie sich eine Situation entwickelt hätte, wenn es die entwicklungspolitische Intervention nicht gegeben hätte». Um dies zu untersuchen, kombiniert das Institut quantitative mit qualitativen Methoden. «Es geht bei der Evaluierung nicht nur um Identifizierung von Wirkung, sondern auch darum herauszufinden, warum es zu einer Wirkung kommt.» Dafür brauche es nebst rigoroser Wirkungsforschung auch elaborierte qualitative Methoden. «Eine aufgeklärte Debatte spielt nicht beides gegeneinander aus», betont der Deval-Direktor.

Kam es vor Jahren noch zu Grabenkämpfen zwischen den «Randomistas» – den Verfechtern des randomisierten Feld- experiments als wissenschaftlichen Gold-Standard – und ihren Kritikern, werde die Methodendebatte heute moderater geführt, erklärt Faust: «Mittlerweile gibt es mehr Akzeptanz für eine Position, die sich offener der Frage stellt, wie quantitative und qualitative Elemente zu einem Methodenmix zu kombinieren seien, der ein Maximum an Erkenntnisgewinn erreicht.»

Mehr in globales Wissen investieren

Auch für die Entwicklungsökonomin Isabel Günther, Leiterin Center for Development and Cooperation an der ETH Zürich, geht es bei der Frage, was Entwicklungszusammenarbeit wirksam macht, nicht nur um die Anwendung von randomisierten Feldexperimenten. Experimentelle Methoden eigneten sich vor allem für die Mikro-Ebene. Um Faktoren auf der Makro- Ebene zu analysieren – etwa wie sich Steuerpolitiken auswirken –, brauche es oft andere quantitative Verfahren. Zentral sei immer zu identifizieren, «welche Form der Entwicklungszusammenarbeit in welchem Kontext wirkt und welche nicht».

Diese faktenbasierte Identifizierung von wirksamen Interventionen mithilfe von wissenschaftlich anerkannten Methoden sei im Interesse aller. Das heisse aber nicht, dass «jedes einzelne Projekt oder Programm evaluiert werden muss». Studien zur Wirksamkeit der Entwicklungshilfe sollten nicht nur der Rechenschaftspflicht einer Organisation dienen, sondern vor allem zu einer kontinuierlichen Verbesserung der Programme führen, betont Günther. Das Lernen müsse über Institutionen hinweg stattfinden: «Die Zukunft liegt auch darin, mehr in globales Wissen zur Armutsreduktion zu investieren und dieses zu nutzen.»

«Eine aufgeklärte Debatte spielt quantitative nicht gegen qualitative Methoden aus.»Jörg Faust

Wie viel weltweit für die Evaluierung der Entwicklungszusammenarbeit ausgegeben wird, dazu liegen keine Vergleichszahlen vor. Laut Deval-Direktor Jörg Faust werden nicht mehr als ein bis zwei Prozent der Entwicklungshilfegelder der OECD für die Evaluierung eingesetzt. Dies sei «angesichts des Erkenntnis- und Lernbedarfs in Themenfeldern wie globaler Nachhaltigkeit oder dem Umgang mit fragilen Staaten sicherlich nicht zu viel».

Nachhaltigkeitsziele fordern heraus

Beide Forschenden weisen auf die neuen Uno-Ziele der Agenda 2030 hin, die die Millenniumsziele ablösen: 17 Ziele und 169 Unterziele für eine nachhaltige Entwicklung hat die Weltgemeinschaft 2015 verabschiedet. In Zukunft soll die Entwicklungszusammenarbeit nicht mehr nur zur Armutsreduktion beitragen, sondern auch die Folgen des Klimawandels abfedern.

«Entwicklungshilfe ist nicht die Lösung für alle globalen Probleme.»Isabel Günther

Das stellt nicht nur die Evaluierer vor neue Herausforderungen. Für die Entwicklungsökonomin Isabel Günther stellt sich grundsätzlich die Frage, ob es möglich ist, all diesen Herausforderungen mit den Instrumenten der Entwicklungszusammenarbeit, deren finanzielle Mittel reduziert werden, zu begegnen: «Entwicklungshilfe ist nicht die Lösung für alle globalen Probleme.»

Theodora Peter ist freie Journalistin mit Schwerpunkt Entwicklungszusammenarbeit.

Lexikon der künstlichen Intelligenz
Wie effizient sind Gesundheitsprogramme?

Die evidenzbasierte Forschung über die Wirksamkeit von Entwicklungshilfeprojekten und -programmen gewinnt auch in der Schweiz zunehmend an Stellenwert. Ein aktuelles Beispiel untersucht die Gesundheitsförderung. Ein grosser Teil der weltweiten Entwicklungshilfegelder fliesst in diesen Bereich. Allein zwischen 2000 und 2010 haben sich die dafür eingesetzten Mittel verdreifacht – auf mittlerweile rund 28 Milliarden Dollar pro Jahr. Es gibt aber bislang nur wenige Studien über die Wirkung dieser Gesundheitsprogramme. Im vom Schweizerischen Nationalfonds unterstützten Forschungsprojekt «Health Aid: What does it do and how can countries make it more effective» untersuchen die Soziologen Manfred Max Bergman und Kristen Jafflin von der Universität Basel, wie die Gesundheitsförderung die Gesundheit in den Nehmerländern beeinflusst und welche Faktoren dazu führen, dass einige Länder die finanziellen Mittel effektiver einsetzen als andere.

Kontext entscheidet alles

In einer ersten Phase werden Länder für vertiefende Fallstudien identifiziert. Für die Studie kombinieren die Forscher verschiedene Methoden mit quantitativen und qualitativen Komponenten.

Die beiden Soziologen unterstützen die Entwicklung hin zu mehr evidenzbasierten Entwicklungsprogrammen. Zu beachten seien dabei die Stärken und Schwächen der verschiedenen Methoden. «Wirkungsevaluationen und experimentelle Methoden sind nicht per se ein Wundermittel», geben Bergman und Jafflin zu bedenken.

Ein Problem sehen die beiden etwa darin, dass mit diesem Approach ein «Best Practice“- Denken gefördert werde, «das die Empfänger von Hilfsprogrammen als unbeschriebene Blätter definiert, die alle gleich empfänglich sind für verschiedenste Interventionen.» Bei den Empfängern handle es sich jedoch «um komplexe soziale Gruppen mit ihren eigenen Kulturen, nationalen Kontexten und Lebensumständen.» Was an einem Ort funktioniere, müsse nicht überall funktionieren. «Wir können nicht für alles Experimente designen oder Wirkungsevaluationen durchführen.» Die entsprechenden Methoden seien nicht für alle Fragestellungen geeignet. Nicht erfasst werden könne damit etwa die Frage, wie Geber- und Nehmerländer zusammenarbeiteten.

CC BY-NC-ND