Schlagwort: reproduzierbarkeit

Nicht reproduzierbare Krebsforschung

Den Versuch, psychologische Studien zu reproduzieren, hatten wir hier kürzlich schon einmal. Nun wurde in der Nature eine Studie veröffentlicht, in der 53 landmark studies aus der Onkologie und Hämatologie untersucht werden. Ergebnis:

It was acknowledged from the outset that some of the data might not hold up, because papers were deliberately selected that described something completely new, such as fresh approaches to targeting cancers or alternative clinical uses for existing therapeutics. Nevertheless, scientific findings were confirmed in only 6 (11%) cases. Even knowing the limitations of preclinical research, this was a shocking result.

“Shocking” trifft es ganz gut.

Begley, C. Glenn; Ellis, Lee M. (2012): Drug development: Raise standards for preclinical cancer research. In: Nature 483 (7391), S. 531–533.

Musterbeispiel: Warum Open Data?

Im American Economic Review wurde 2010 eine anscheinend vielbeachtete Studie über “Growth in a Time of Debt” publiziert. [1] Reinhart, Carmen M., and Kenneth S. Rogoff. 2010. “Growth in a Time of Debt.” American Economic Review, 100(2): 573-78.
http://dx.doi.org/10.1257/aer.100.2.573 Die Washington Post machte nun darauf aufmerksam, dass diese Studie nicht nur in der Austeritätsdebatte eine große Rolle gespielt habe, sondern auch methodisch nicht einwandfrei sei. In der Berechnung (in Excel), die der Studie zugrunde liegt, seien Berechnungsfehler begangen worden.

This discrepancy wasn’t caught earlier because Reinhart and Rogoff hadn’t made their full underlying data public. They only shared their spreadsheet with the Herndon, Ash and Pollin after the latter three tried to replicate the initial results and failed.

Hier geht es zur erwähnten Studie von Reinhart und Rogoff. Die Daten werden dort gleich zum Download angeboten, ebenso der R-Code, mit dem die zweite Auswertung gemacht wurde. Wer nun dort nach Fehlern suchen möchte, kann dies ohne Umstände machen und muss nicht den Studienautoren hinterherbetteln.

PS: Bei diesem Beispiel geht es mir nicht darum, ob sich durch Datenverfügbarkeit nun gegenteilige ökonomische Schlüsse ziehen lassen, sondern einzig um die Reproduzierbarkeit von Wissenschaft.

References

References
↑1 Reinhart, Carmen M., and Kenneth S. Rogoff. 2010. “Growth in a Time of Debt.” American Economic Review, 100(2): 573-78.
http://dx.doi.org/10.1257/aer.100.2.573

Reproduzierte Psychologie

If you’re a psychologist, the news has to make you a little nervous, beginnt ein Artikel im Chronicle of Higher Education. Besonders PsychologInnen, die 2008 in einem der Journals “Psychological Science”, “Journal of Personality and Social Psychology” oder im “Journal of Experimental Psychology: Learning, Memory, and Cognition” veröffentlicht haben. Denn deren Werk wird vom Reproducibility Project unter die Lupe genommen, genauer gesagt: reproduziert.

Wer helfen möchte, kann sich beteiligen:

The Reproducibility Project is open to anyone who is interested in the reproducibility of psychological science or in participating in a large-scale, open science project. Contributors receive authorship on project reports (see Executive Summary for details). Ways to contribute include:

  • Conducting or helping with a replication study
  • Helping with statistical analyses or power / sample size calculations
  • Reviewing and contributing to replication protocols or reports
  • Coding published studies (extracting hypotheses, sample characteristics, and requirements for replication)
  • Programming tasks such as creating stimulus presentation scripts or automated data processing

If you’d like to get involved, fill out our new contributor survey and we’ll get in touch with you about opportunities that are a match for your skills and resources. We welcome contributions from students and citizen scientists as well as researchers and scientific professionals. If you have any questions, feel free to contact our volunteer coordinator at reproducibilityproject@gmail.com.

Voraussetzung für Reproduzierbarkeit sind neben sauber dokumentierten Versuchen auch die Verfügbarkeit der Mittel zur Reproduktion.

  • Open Access: Wer den Artikel nicht lesen kann, kann Versuche auch nicht reproduzieren
  • Open Data: Wer die Rohdaten nicht hat, auch nicht.
  • Open Source: Wo Software eingesetzt wird, sollte diese frei verfügbar sein. Zum Beispiel Octave statt MatLab (aktuell € 500 für die Basisversion, wenn ich die Preistabelle richtig verstehe) oder R statt SPSS (wirklich über € 2000?). Darunter fallen dann auch die konkreten Skripte und Modelle.

Ergo (natürlich verkürzt): Reproduzierbarkeit = Open Access + Open Data + Open Source