Wichtiger als Zahlen zu analysieren sei, eine klare Vorstellung davon zu haben, was man erwarte, sagen gewisse Wissenschaftssoziologen. | Bild: zVg

Forschungsergebnisse nur zu veröffentlichen, wenn sie spektakuläre Erkenntnisse enthalten, widerspricht der Grundidee von Wissenschaft als objektiver Suche nach der Wahrheit. Doch genau dies kommt häufig vor, in der klinischen Medizin ebenso wie in der Soziologie, der Psychologie oder der Ökonomie: Forschende werten ihre Ergebnisse aus und reichen sie nur an Fachzeitschriften ein, wenn sie einen «positiven» Effekt finden. Alle anderen Ergebnisse verschwinden in der Schublade.

Durch diesen als Publication Bias bekannten Effekt entsteht ein falsches Gesamtbild, und die zu positiv erscheinenden Ergebnisse drücken auch vermeintlich aussagekräftigeren Übersichtsstudien ihren Stempel auf. Wenn «negative» Studien nicht publiziert werden, bedeutet dies auch eine Verschwendung von Forschungsarbeit.

Dazu kommt, dass veröffentlichte Daten oft fragwürdig sind, denn häufig werden mit ausgeklügelten statistischen Methoden im Meer des Rauschens nur vermeintliche Signale aufgespürt. Diese falsch-positiven Ergebnisse führen Forschung und Allgemeinheit auf Abwege, insbesondere in der Medizin, wo sich viele angeblich wirksame Behandlungen schliesslich als falsche Hoffnung erweisen.

Forschende fordern deshalb mehr Transparenz über die veröffentlichten Daten und Methoden, insbesondere mittels einer Vorregistrierung. Dabei werden Studiendesign und statistische Methoden erfasst, bevor die Ergebnisse vorliegen. Die Daten sollten dann unabhängig davon veröffentlicht werden, ob sie spektakulär sind oder nicht.

Dagegen wird argumentiert, dass solche Vorregistrierungen die Freiheit beschneiden, die es für Entdeckungen braucht, während wieder andere Stimmen einen fundamentaleren Wandel fordern. Harry Collins, Wissenschaftssoziologe an der britischen Cardiff University, ist der Ansicht, dass die Medizin- und Sozialwissenschaften von den statistischen Methoden und auch von der Intuition der Physik lernen könnten. «Der Schlüssel zur Beseitigung solcher Bias liegt nicht bei den Publikationen, sondern bei der Art, wie Forschende Wissenschaft betreiben», ist er überzeugt.

Das Problem der Verzerrungen in der Forschung wird seit Jahren diskutiert. Bereits 2005 argumentierte John Ioannidis, der in der medizinischen Forschung und als Epidemiologe an der Stanford University in den USA tätig ist, dass die meisten veröffentlichten Ergebnisse in der Medizin falsch sein dürften. Zu diesem Schluss gelangte er nach einer Analyse der – oft unreflektierten – Verwendung von statistischen Schwellenwerten. Konkret bemängelte er, dass mit grossen Datenreihen und einem sogenannten p-Wert von fünf Prozent fast zwangsläufig Scheineffekte auftreten.

Besonders anfällig für Verzerrungen sind medizinische Versuche. Allerdings gibt es Hinweise, dass diese abgenommen haben – eine Studie der US Agency for Healthcare Research and Quality von 2015 zeigt, dass Versuche zu Herz-Kreislauf-Behandlungen vor dem Jahr 2000 positiver ausfielen als danach. Andererseits gab es sehr prominente Fälle, etwa Roche mit den zurückgehaltenen Informationen über das antivirale Medikament Tamiflu.

Auch in der Psychologie wurde versucht, die Forschung robuster zu gestalten, nachdem entdeckt wurde, dass viele Schlüsselergebnisse seit den 1950er-Jahren ganz einfach nicht reproduzierbar sind. In diesem Gebiet wurde die Vorregistrierung von Artikeln zuerst eingeführt. Inzwischen hat diese Praxis auch andere Disziplinen erreicht – insbesondere die Medizin. Ioannidis ist der Ansicht, dass durch die Voranmeldung das «Schubladenproblem» in der Forschung seltener wurde. Verschärft habe sich hingegen das Problem des Rosinenpickens, dass nur die passenden Daten analysiert werden. Hier kann auch eine Vorregistrierung nicht alle «Freiheiten » ausräumen, die kreative Pseudostatistikerinnen und - statistiker ausnutzen. «Wir haben heute mehr Daten, mehr Tools und mehr Möglichkeiten – aber zu wenig geschulte Forschende», kritisiert er. «Damit ist es wesentlich einfacher geworden, Signale zu generieren, die sich dann häufig nicht bestätigen.»

Besonders problematisch bei Tierversuchen

Besonders problematisch ist der Publication Bias im Bereich der Tierversuche. Die bevorstehende Abstimmung über das Tier- und Menschenversuchsverbot beunruhigt Forschende in diesen Bereichen. Swissuniversities, die Dachorganisation der Schweizer Hochschulen, hält Tierversuche als unabdingbar für die Arzneimittelentwicklung und argumentiert, dass dank strenger Vorschriften die Würde und das Wohlergehen von Tieren sichergestellt seien, auch weil die Zustimmung der kantonalen Veterinärämter eingeholt werden muss.

Doch gemäss Hanno Würbel von der Universität Bern fehlen bei vielen Tierversuchen Massnahmen zur Vermeidung von Verzerrungen, weshalb eventuell bis zu 30 Prozent der durchgeführten Studien nicht veröffentlicht werden. Dies sei ethisch nicht vertretbar: «Jeder Tierversuch wird nur unter der Bedingung bewilligt, dass er wichtige neue Erkenntnisse hervorbringt.»

Visuelle Beurteilung der Studienlage: Beim durch den Berner Epidemiologen Matthias Egger popularisierten Trichterdiagramm liegen die kleinen Studien unten. Sie sind weit um den Mittelwert (gestrichelte Linie) gestreut. Die grossen, präzisen sind oben. Rechts: Bereits die kleinen Studien weisen auf die Krankheitsursache hin. Die Lage ist ausgeglichen. Links: Von den kleineren Studien wurden vermutlich nur die publiziert, die einen Effekt der Therapie zeigen konnten. Je grösser die Studien, desto klarer entpuppte sich der Effekt als Täuschung. | Grafiken: Bodara nach M. L. Ritchie et al. 2012 (links) und S. S. Liyanage et al. 2013 (rechts)

Wie andere ist auch er überzeugt, dass Vorregistrierungen Verzerrungen vermindern könnten. Er räumt allerdings ein, dass viele Forschende um ihre legitime Freiheit fürchten, ihre Methoden oder Hypothesen dem sich rasch wandelnden Forschungsgebiet anzupassen. Ein möglicher Ausweg bestehe darin, zwischen explorativer Forschung und solcher, die Hypothesen bestätigt, zu unterscheiden.

Demgegenüber argumentiert Daniele Fanelli, Methodenforscher und Experte für Forschungsintegrität an der London School of Economics, dass ein Publication Bias bis zu einem gewissen Ausmass auch positiv sein kann, da er dazu beiträgt, das Problem des verstopften Postfachs zu lösen – das Unvermögen, interessante positive Erkenntnisse aus einem Meer von unscheinbaren Daten zu fischen. Er vertritt die Ansicht, dass die Abwägung zwischen diesem Phänomen und dem Schubladenproblem «je nach Forschungsgebiet anders ausfällt».

Kenne deine Gravitationswelle

So befürwortet Fanelli die traditionelle Idee einer «Hierarchie der Wissenschaften», bei der die Disziplinen danach eingeteilt werden, inwieweit Daten «für sich selbst sprechen » und Theorien nach strengen Kriterien getestet werden können. Er überprüfte diesen Ansatz in einer Studie von 2010 mit fast 2500 Artikeln aus vielfältigen Disziplinen, die angaben, dass sie eine Hypothese untersuchten. Diese zeigte für die Sozialwissenschaften – die sich in der Hierarchie unten befinden – eine wesentlich höhere Wahrscheinlichkeit, über positive Resultate zu berichten.

Auch Collins hält eine Differenzierung zwischen Fachgebieten für zentral. Er betont, dass die Physik sehr strenge Standards für die Interpretation von Statistiken anwende: Die Schwelle für Entdeckungen liegt bei 5 Sigma, was bedeutet, dass ein Signal mit einer Wahrscheinlichkeit von nur 1 zu 3,5 Millionen ein statistischer Irrtum ist. Er betont auch, dass es bei der Entdeckung der Gravitationswellen im Jahr 2015 nicht die Statistiken waren, die die Forschenden davon überzeugten, den Jackpot geknackt zu haben. «Viel entscheidender war ihre Überzeugung, dass die von ihren Detektoren aufgezeichneten wellenartigen Signale dem entsprachen, was sie von der Verschmelzung von zwei schwarzen Löchern erwarteten.»

Wenn Sozial- und Biowissenschaften Verzerrungen wirklich eliminieren und reproduzierbare Ergebnisse veröffentlichen wollen, argumentiert Collins, dann müssen sie über ihre p-Werte hinaus schauen und eine Intuition dafür entwickeln, was in ihren Experimenten abläuft. «Viele Leute verstehen den Sinn statistischer Auswertungen nicht wirklich», meint er. «Statistik ist für sie nur ein Vorwand, nicht wissenschaftlich arbeiten zu müssen.» Ioannidis bekräftigt, dass die Forschenden ihre Fixierung auf die p-Werte überwinden müssen.

Er befürwortet aber eine direktere Lösung. Er ist überzeugt, dass gewisse Regeln vorgegeben werden müssen, zum Beispiel in Form einer Pflicht zu Vorregistrierungen. Gleichzeitig sollten die Forschenden auf mehr Strenge geschult werden. «Gut ausgebildete Forschende sind sich bewusst, dass dies für eine gute Wissenschaft zentral ist», meint er, «aber sie müssen dafür sensibilisiert werden.»