Nicht reproduzierbare Krebsforschung

Den Versuch, psychologische Studien zu reproduzieren, hatten wir hier kürzlich schon einmal. Nun wurde in der Nature eine Studie veröffentlicht, in der 53 landmark studies aus der Onkologie und Hämatologie untersucht werden. Ergebnis:

It was acknowledged from the outset that some of the data might not hold up, because papers were deliberately selected that described something completely new, such as fresh approaches to targeting cancers or alternative clinical uses for existing therapeutics. Nevertheless, scientific findings were confirmed in only 6 (11%) cases. Even knowing the limitations of preclinical research, this was a shocking result.

“Shocking” trifft es ganz gut.

Begley, C. Glenn; Ellis, Lee M. (2012): Drug development: Raise standards for preclinical cancer research. In: Nature 483 (7391), S. 531–533.

Henry Bourne: "US biomedical research enterprise" ist in Schieflage

Henry Bourne beschreibt in einem Aufsehen erregenden Artikel “The writing on the wall”, wie die biomedizinische Forschung in den USA trotz sich stetig vergrößernder Fördertöpfe stagniert. Abstract:

The biomedical research enterprise in the US has become unsustainable and urgent action is needed to address a variety of problems, including a lack of innovation, an over-reliance on soft money for faculty salaries, the use of graduate students as a source of cheap labour, and a ‘holding tank’ full of talented postdocs with limited career opportunities.

Viele seiner Beobachtungen lassen sich auch auf hiesige Verhältnisse übertragen.

Reproduzierte Psychologie

If you’re a psychologist, the news has to make you a little nervous, beginnt ein Artikel im Chronicle of Higher Education. Besonders PsychologInnen, die 2008 in einem der Journals “Psychological Science”, “Journal of Personality and Social Psychology” oder im “Journal of Experimental Psychology: Learning, Memory, and Cognition” veröffentlicht haben. Denn deren Werk wird vom Reproducibility Project unter die Lupe genommen, genauer gesagt: reproduziert.

Wer helfen möchte, kann sich beteiligen:

The Reproducibility Project is open to anyone who is interested in the reproducibility of psychological science or in participating in a large-scale, open science project. Contributors receive authorship on project reports (see Executive Summary for details). Ways to contribute include:

  • Conducting or helping with a replication study
  • Helping with statistical analyses or power / sample size calculations
  • Reviewing and contributing to replication protocols or reports
  • Coding published studies (extracting hypotheses, sample characteristics, and requirements for replication)
  • Programming tasks such as creating stimulus presentation scripts or automated data processing

If you’d like to get involved, fill out our new contributor survey and we’ll get in touch with you about opportunities that are a match for your skills and resources. We welcome contributions from students and citizen scientists as well as researchers and scientific professionals. If you have any questions, feel free to contact our volunteer coordinator at reproducibilityproject@gmail.com.

Voraussetzung für Reproduzierbarkeit sind neben sauber dokumentierten Versuchen auch die Verfügbarkeit der Mittel zur Reproduktion.

  • Open Access: Wer den Artikel nicht lesen kann, kann Versuche auch nicht reproduzieren
  • Open Data: Wer die Rohdaten nicht hat, auch nicht.
  • Open Source: Wo Software eingesetzt wird, sollte diese frei verfügbar sein. Zum Beispiel Octave statt MatLab (aktuell € 500 für die Basisversion, wenn ich die Preistabelle richtig verstehe) oder R statt SPSS (wirklich über € 2000?). Darunter fallen dann auch die konkreten Skripte und Modelle.

Ergo (natürlich verkürzt): Reproduzierbarkeit = Open Access + Open Data + Open Source

Hashtag des Jahres: #overlyhonestmethods

Ja, das Jahr ist noch jung. Aber die Tweets zum Hashtag #overlyhonestmethods sind dermaßen mannigfaltig und unterhaltsam, dass eine Steigerung schwierig wird! Selbst wer keinen Twitter-Account hat und nichts damit zu tun haben will, sollte einmal einen Blick darauf werfen.

Worum geht’s? Robert T. Gonzales beschreibt es folgendermaßen (und hat auch schöne Beispiele gesammelt):

Have you ever conducted scientific research? Are you familiar with the less-than-glamorous (and sometimes surprisingly slipshod) ways of the world’s overworked, underpaid, and severely caffeinated scientists? Then #overlyhonestmethods is probably the funniest thing you’ll read today.

Es begann (wenn ich nichts übersehen habe) mit diesem Tweet von @dr_leigh. Und dann ging’s los. Und hört seitdem nicht mehr auf. Ein paar aktuelle Beispiele?

Ein paar weitere Sammlungen gibt es hier, hier, hier, hier, …

PS: Inzwischen gibt es auch #overlyhonestreviews.

Bezahlschranken sind eine Motivationsbremse

In einigermaßen regelmäßigen Abständen werden Beiträge aus der Libworld-Reihe in Journals oder Büchern zitiert. Ich erfahre davon meistens über Alerts, z.B. bei Google Scholar. Was ich selten erfahre ist der eigentliche Inhalt der Publikation über den Abstract hinaus. Fast immer handelt es sich um Closed-Access-Publikationen. Natürlich ließe sich an die Artikel gelangen. Die Möglichkeiten sind zahlreich. Ich könnte die meist geforderten 25 – 39 US$ zahlen, 1) Haha. Hat das überhaupt schon mal jemand gemacht? Oder ist das eher ein symbolischer Preis? ich könnte die Fernleihe bemühen, ich könnte nach eventuellen Embargo-Zeiten nach OA-Versionen suchen. Und noch vieles mehr.

Will ich das? Ich will ja nur schnell nachsehen, in welchem Kontext die Libworld-Publikation (aktuell der Finnland-Artikel von Reetta Saine, der anscheinend in diesem Artikel zitiert wurde) erwähnt wird. Dafür so ein Aufwand? 2) Besonders unverständlich ist das bei Publikationen der IFLA, die sich oft an ein Publikum aus Schwellen- und Entwicklungsländern richten.

Zusammenfassung: Bezahlschranken sind Zugangsschranken sind Entdeckungsverhinderer sind innovations- und wissenschaftsfeindlich.

References   [ + ]

1. Haha. Hat das überhaupt schon mal jemand gemacht? Oder ist das eher ein symbolischer Preis?
2. Besonders unverständlich ist das bei Publikationen der IFLA, die sich oft an ein Publikum aus Schwellen- und Entwicklungsländern richten.

Akademische Öffentlichkeitsarbeit mit Twitter und Blogs

Times Higher Education berichtet über einen Versuch, die Sichtbarkeit des eigenen akademischen Oeuvres zu steigern:

Six months ago, Melissa Terras decided to investigate whether putting her past research papers in University College London’s free repository and publicising them via blog posts and Twitter would help them find a wider audience than they would get from journal publication alone.

Die Zugriffszahlen sind durch Öffentlichkeitsarbeit von (vermutlich täglich) ein bis zwei Downloads auf über 70 gestiegen. Terras selbst hat ausführlich über ihren Versuch gebloggt.

Der Science-Citation-Index ist 50 Jahre alt

In der NZZ ist ein Artikel mit dem Titel “Vermessene Wissenschaft:  Der Science-Citation-Index – Datenbank, Schiedsrichter und Machtinstrument” erschienen. Der Science-Citation-Index (SCI) wurde vor 50 Jahren vom mittlerweile 86-jährigen amerikanischen Forscher Eugene Garfield erfunden. In einem kurzen Interview – wiederum in der NZZ – erwähnt er auch die negativen Effekte dieser Zitations-Datenbank.

Befragungen zu Urheberrecht und offenen Zugang zu wissenschaftlichen Informationen

Zwei (interessante) Aufrufe zur Teilnahme an Umfragen erreichten mich in den letzten Tagen. Einerseits eine Umfrage von IUWIS: Was erwarten Sie in Ihrer Arbeit in Bildung und Wissenschaft von den Regelungen im Urheberrecht?

In wenigen Minuten soll man seine Erwartungen an ein bildungs- und wissenschaftsfreundliches Urheberrecht ausdrücken. Das ist sinnvoll, ging schnell, war gut formuliert.

Ob eine andere Umfrage sinnvoll, schnell durchführbar und gut formuliert ist, weiß ich leider nicht. Die EU-Umfrage zum Zugang zu Wissenschaftspublikationen weist direkt darauf hin, dass es sich um eine Konsultation handelt und die Ergebnisse nicht-anonymisiert veröffentlicht werden.

Contributions are particularly sought from governments, research institutions and universities, libraries, scientific publishers, research funding organisations, businesses, individual researchers and other interested parties.

Das sich viele indivual researchers darauf einlassen, kann ich mir nicht vorstellen. Wer dennoch teilnehmen möchte: Consultation on scientific information in the digital age.

Ten Simple Rules for Building and Maintaining a Scientific Reputation

Philip E. Bourne und Virginia Barbour haben in PLoS Computational Biology zehn Regeln für den Aufbau und den Erhalt einer wissenschaftlichen Reputation aufgestellt.

Rule 1: Think Before You Act
Rule 2: Do Not Ignore Criticism
Rule 3: Do Not Ignore People
Rule 4: Diligently Check Everything You Publish and Take Publishing Seriously
Rule 5: Always Declare Conflicts of Interest
Rule 6: Do Your Share for the Community
Rule 7: Do Not Commit to Tasks You Cannot Complete
Rule 8: Do Not Write Poor Reviews of Grants and Papers
Rule 9: Do Not Write References for People Who Do Not Deserve It
Rule 10: Never Plagiarize or Doctor Your Data

Die Regeln sind aus einer Diskussion im Committee on Publication Ethics entstanden.

[Hinweis von Martin Fenner via Google+ (der 1.)]