Reproduzierbarkeit
Attraktiven Studien wird geglaubt
Publikationen, deren Befunde nicht wiederholbar waren, werden bis 300 Mal häufiger zitiert. Könnte die Wissenschaft in die falsche Richtung gehen?
Die Replikationskrise ist um ein Kapitel erweitert worden. Forschende der University of California haben das Schicksal von Publikationen analysiert, die man in drei einflussreichen Studien zu replizieren versuchte. Dies vor allem in den Disziplinen Psychologie, Medizin und Sozialwissenschaften.
«Nicht replizierbare Arbeiten werden häufiger zitiert als replizierbare», so die Ökonominnen im Fachjournal Science Advances – im untersuchten Zeitraum im Durchschnitt über 150 Mal häufiger als diejenigen, deren Ergebnisse Bestand hatten. Bei den sozialwissenschaftlichen Studien, die in Science und Nature veröffentlicht wurden, erhielten die nicht replizierbaren Paper typischerweise sogar 300 Zitate mehr. Bemerkenswert ist zudem, dass nur eine Minderheit der Publikationen nach der Veröffentlichung der fehlgeschlagenen Replikationen ihr Scheitern auch anerkennen – magere 12 Prozent.
Ein weiterer Rückschluss der Forschenden ist beunruhigend: «Wenn man davon ausgeht, dass häufiger zitierte Paper ‹interessantere› Ergebnisse präsentieren, dann könnte eine negative Korrelation zwischen der Replizierbarkeit und der Zitierhäufigkeit einen Review- Prozess widerspiegeln, der laxer ist, wenn die Ergebnisse interessanter scheinen.»
Der nicht an der Studie von Marta Serra-Garcia und Uri Gneezy beteiligte Reproduzierbarkeitsexperte Brian Nosek warnte in The Guardian sogar: «Wir nehmen an, dass die Wissenschaft sich selbst korrigiert. Damit meinen wir, dass Fehler regelmässig passieren, aber im ständigen Dialog beseitigt werden. Wenn replizierbare Ergebnisse seltener zitiert werden als nicht replizierbare, könnte das bedeuten: Die Wissenschaft ist nicht nur nicht in der Lage, sich selbst zu korrigieren; sie könnte auch in die falsche Richtung gehen.»