Weshalb Städte wie das kanadische Montreal gute Bewertungen erhalten, wird oft hinterfragt. Nun rückt die Bewertung von Forschungsprojekten in den Fokus der Forschung. | Bild: Anthony Gerace

Kürzlich wagte die deutsche Zeitschrift für Lebenswissenschaften namens Laborjournal ein Gedankenexperiment: Was wäre, wenn nicht die Forschenden sich bei Förderorganisationen um Gelder bewerben, sondern umgekehrt diese sich darum streiten müssten, welche vielversprechenden Forschenden sie unterstützen dürfen?

Die Frage war nicht ganz ernst gemeint, zeigt aber an, wie gross die Bereitschaft in der Welt der Wissenschaften ist, den Status quo der Forschungsförderung zu hinterfragen. Dass diese reformiert werden muss, ist mittlerweile Konsens, auch bei den Förderorganisationen selbst. Aber wie? Die Hoffnungen ruhen auf der Forschung selbst: Research on Research. Sie soll den Weg in die Zukunft weisen.

Metrisierung, Replikationskrise und Publikationsflut

Zusammengefasst richtet sich das Unbehagen in den Wissenschaften auf drei Bereiche. Der wichtigste ist die Metrisierung: Die Qualität von Forschenden wird vor allem quantitativ gemessen, also wie oft jemand zitiert wird und in welchen Fachzeitschriften die Person publiziert. Sogar die Journals werden mit einer Zahl ausgestattet, die zeigt, wie oft ihre Artikel durchschnittlich zitiert werden – der berüchtigte Impactfaktor. Der zweite Bereich ist die Replikationskrise, die sich auf den Umstand bezieht, dass Experimente in den Natur- und Sozialwissenschaften bei anderen Forschungsgruppen nicht die gleichen Ergebnisse hervorbringen. Das sollte aber der Fall sein. Dadurch wird die Glaubwürdigkeit der Wissenschaften unterwandert.

Schliesslich publizieren Forschende möglichst viele Papers, weil dies ihre Chance erhöht, zu Fördergeldern zu gelangen – und wer schon gefördert wurde, wird mit grösserer Wahrscheinlichkeit wieder gefördert, frei nach dem Apostel Matthäus: Wer hat, dem wird gegeben. Auch das dürfte nicht der Fall sein. Die Evaluation durch Fachleute aus dem gleichen Forschungsgebiet sollte garantieren, dass nur die besten Anträge gefördert werden. Die Verfahren beurteilen oft Frauen oder ethnische Minderheiten, die in den Beurteilungsgremien untervertreten sind, strenger.

Die Metrisierung des Wissenschaftssystems führt zu bizarren Effekten. Die Wissenschaftsforscherin Ruth Müller von der Technischen Universität München hat kürzlich mit Studien nachgewiesen, dass Postdocs in den Lebenswissenschaften die Wahl ihrer Forschungsfragen nicht hauptsächlich auf den Wissensgewinn ausrichten, sondern mehr noch darauf, welche Themen sich in Fachzeitschriften mit hohem Impactfaktor publizieren lassen. Das widerspricht dem Anspruch einer relevanten Wissenschaft. Die Analyse der Mittelvergabe, genannt Research on Research, soll nun dazu beitragen, diese Mechanismen aufzudecken und die Missstände zu beseitigen – für eine bessere Forschungsförderung und damit für bessere Forschung. Es gibt sogar eigens das Research on Research Institute, kurz Rori, das 2019 von den Universitäten Leiden (NL) und Sheffield (GB) gegründet wurde und von einer privaten Stiftung und einer im Digitalbusiness tätigen Firma getragen wird.

Rori knüpft an bereits bestehende Reformen an, etwa die Dora-Deklaration von 2012, mit der sich Förderorganisationen verpflichtet haben, den Impactfaktor zu ignorieren und den Inhalt der Forschung anstelle des Renommees der Zeitschrift zu würdigen. Rori-Direktor James Wilsdon, der Forschungspolitik am University College in London lehrt, sagt: «Wir testen neue Instrumente, um herauszufinden, ob und wie die Forschungsbewertung rationalisiert und effizienter gestaltet werden kann.» Dazu gehören der Einsatz von künstlicher Intelligenz oder Zufallselemente. «Das Rori ist Teil der weltweiten Bestrebungen für eine verantwortungsvolle Kultur der Forschungsbewertung.»

Experimente in der Forschungsförderung

Der Schweizerische Nationalfonds (SNF) integriert bereits solche Erkenntnisse in seine Bewertungspraxis. So hat er die partielle Randomisierung eingeführt, das heisst, er wählt nun aus den Gesuchen mit ähnlich guter Bewertung per Zufallsverfahren einige zur Förderung aus. «Studien haben gezeigt, dass sich Reviewer schwertun, Gesuche in einer mittleren Grauzone voneinander zu differenzieren», sagt Katrin Milzow, Leiterin der Abteilung Strategie des SNF. Sie gehört zum Führungsgremium des Rori.

Besondere Beachtung schenkt der SNF in einer Pilotausschreibung Gesuchen, die gleichzeitig sowohl sehr gute als auch schlechtere Bewertungen erhielten. Die unterschiedlichen Einschätzungen wiesen oft auf ein interessantes Potenzial hin, sagt Milzow. Ein eigenes Rori-Projekt des SNF sind die Career Tracker Cohorts. In Zusammenarbeit mit der Universität Bern befragt er in den nächsten zehn Jahren geförderte Postdocs und nicht geförderte. Die Langzeitstudie soll Aufschluss über die Karriereverläufe, aber auch die Motive und Einschätzungen von jungen Forschenden geben, also ihre subjektive Sicht auf das Wissenschaftssystem und ihre Karriereschritte. Die Erkenntnisse sollen die Forschungsförderung besser auf die Bedürfnisse des Nachwuchses abstimmen.

Schliesslich setzt der SNF neu auf narrative Lebensläufe. Sie bieten den Antragstellenden die Möglichkeit, ihre Forschungsergebnisse zu kommentieren und mit ihrer Biografie zu verbinden. «Damit wird bei der Begutachtung der übergrosse Einfluss von Indikatoren aus Fachzeitschriften verringert und der Bewertungsprozess ganzheitlich», sagt Milzow. Sie betont, dass Rori-Erkenntnisse eine Evidenzbasis für die Weiterentwicklung der Förderung schaffen.

Auch die Deutsche Forschungsgemeinschaft DFG ist daran, ihre Förderpraktiken zu reformieren, wobei sie weniger weit geht als der SNF. Künftig soll bei der Bewertung von Anträgen die «Engführung auf quantitative Metriken eingedämmt» werden. Andere Förderorganisationen indes geben sich bezüglich Research on Research zurückhaltend. Die Österreichische Forschungsförderungsgesellschaft nennt als bestes Mittel, die Forschung zu verbessern, schlicht passende Instrumente für jede Zielgruppe. Das französische Centre National de la Recherche Scientifique möchte sich zum Thema nicht äussern. Dieses ist also noch nicht überall angekommen.

Misserfolg soll Muss werden

Michael Nielsen und Kanjun Qiu stürmen hingegen voran. Der Quantenphysiker und Programmierer vom Recurse Center in New York und die Software-Entwicklerin haben eine Art Manifest verfasst: «A Vision of Metascience ». Mit dem Schlagwort Metascience wollen die beiden wilden Vordenker von Research on Research nichts weniger als eine Maschine für die schnelle Verbesserung des «sozialen Prozesses der Wissenschaft» sein.

Mit sozialem Prozess meinen Nielsen und Qiu «die institutionellen Praktiken, Anreize und Normen», die in der Wissenschaft verbreitet sind. «Wenn wir von Veränderungen in den sozialen Prozessen sprechen, meinen wir Veränderungen im Peer-Review oder im Umgang von Geldgebern mit Risiken.» Wenn etwa die Misserfolgsquote der geförderten Projekte unter fünfzig Prozent liegt, also die Organisation mit ihrer Förderung zu wenig Risiken eingegangen ist, dann soll der Programmmanager der Förderorganisation gefeuert werden – auch wenn unklar bleibt, wie Misserfolg definiert wird. Ein weiteres Beispiel, das Nielsen und Qiu geben: die Einrichtung einer «Hall of Shame» durch die Förderorganisationen. Die Halle führt alle erfolgreichen Forschenden auf, die von der betreffenden Organisation nicht unterstützt wurden, weil sie deren Potenzial nicht erkannte.

Die Wissenschaftsforscherin Ruth Müller von der Technischen Universität München begrüsst sowohl das wachsende Problembewusstsein der Förderorganisationen als auch deren Reformwillen. Sie hofft, dass die Analyse der Mittelvergabe in Zukunft ein ganz normales Forschungsthema wird, so wie die Praxis von Forschenden im Labor oder im Feld untersucht wird: «Wissenschaftlerinnen nehmen verschiedene Aufgaben wahr, dazu gehört auch die Bewertung von Forschung. Diese müssen wir als soziale Praxis analysieren, damit wir die Bewertung verbessern können.»

So weit ist es indes noch nicht, wie die Soziologin und Molekularbiologin anmerkt. Sie bemängelt, dass ein Teil der Bewegung den Wissensstand der Sozialwissenschaften nicht kennt und das Rad neu erfinden will. Wenn Müller vom sozialen System Wissenschaft spricht, hat sie mehr im Blick als Nielsen und Qiu. Forschende sind für sie ein Teil der Gesellschaft: Sie prägten die Gesellschaft und seien zugleich durchdrungen von deren Machtverhältnissen und Normen. Das Soziale der Wissenschaft meine mehr als nur das Peer-Review, an dem ein Kollektiv beteiligt ist.

Research on Research on Research

Dies ist das Thema der seit den 1960er-Jahren bestehenden Wissenschafts- und Technikstudien. Schon damals bemerkte der Soziologe Thomas Kuhn, dass wissenschaftliche Fakten Produkte der sozial bedingten und geprägten Untersuchungen der Forschenden seien und keine objektiven Naturtatsachen. So sind auch Evaluationen nicht objektiv. In ihnen schlagen sich zum Beispiel Vorurteile der Beteiligten nieder. «Eine gute Forscherin ist nicht immer eine gute Gutachterin – Begutachten ist genauso wie Forschen eine Praxis, die gelernt sein will», sagt Müller.

Wichtig ist für sie die Unabhängigkeit und Transparenz von Research on Research – das komme zurzeit zu kurz: «Das Peer-Review wird oft in Auftragsforschungsprojekten untersucht, aus denen nur begrenzt publiziert wird. Die Ergebnisse liegen den Forschungsförderern vor, aber werden nicht Teil eines gemeinschaftlichen Wissensstands. » Forschung muss indes von allen Forschenden einsehbar sein, damit diese einen neuen Wissensstand aufbauen können. Müller plädiert für offene Ausschreibungen für Drittmittelprojekte zu Research on Research. Als Positivbeispiel nennt sie die Forschung über Wissenschaft der deutschen Volkswagenstiftung.

Research on Research ist angetreten, die Forschungsförderung und damit die Forschung zu verbessern. Dank ihrer internationalen Vernetzung durch das Rori hat sie bereits in vielen Förderorganisationen zu Reformen geführt. Das kommt der Forschung zugute. Nun könnte sie sich noch vermehrt auf sich selbst anwenden.