Schlagwort: peer-review

Automatisch generierte Peer Reviews

Alberto Bartoli, Andrea De Lorenzo, Eric Medvet, Fabiano Tarlao: Your Paper has been Accepted, Rejected, or Whatever: Automatic Generation of Scientific Paper Reviews.

Abstract:

Peer review is widely viewed as an essential step for ensuring scientific quality of a work and is a cornerstone of scholarly publishing. On the other hand, the actors involved in the publishing process are often driven by incentives which may, and increasingly do, undermine the quality of published work, especially in the presence of unethical conduits. In this work we investigate the feasibility of a tool capable of generating fake reviews for a given scientific paper automatically. While a tool of this kind cannot possibly deceive any rigorous editorial procedure, it could nevertheless find a role in several questionable scenarios and magnify the scale of scholarly frauds.

A key feature of our tool is that it is built upon a small knowledge base, which is very important in our context due to the difficulty of finding large amounts of scientific reviews. We experimentally assessed our method 16 human subjects. We presented to these subjects a mix of genuine and machine generated reviews and we measured the ability of our proposal to actually deceive subjects judgment. The results highlight the ability of our method to produce reviews that often look credible and may subvert the decision.

Ein äußerst interessanter, aber leider wieder einmal hinter einer Paywall versteckter Artikel. Wer nicht bezahlen möchte und keiner Institution angehört, die dies für ihn oder sie übernimmt, kann die Zusammenfassung in der Times Higher Education lesen. Die gestattet immerhin drei kostenfreie Artikelabrufe pro Monat.

Erträglicher Artikel zu Open Access in der FAZ

In der FAZ ist ein Artikel von Bettina Wolff über Open Access zu finden, der deutlich über dem Niveau der sonstigen dort erscheinenden Artikel zu diesem Thema liegt. Was zwar nicht viel bedeuten muss; doch immerhin werden hier verschiedene Facetten des Themas beleuchtet. Einen Absatz möchte ich aber herausgreifen.

In der Praxis gibt es auch Zweifel am Modell des freien Zugangs. „Über Datenbanken kommt man bei der Recherche manchmal auf Open-Access-Artikel, aber in der Regel ist man dann skeptisch“, sagt Marcus Maurer, Professor am Institut für Publizistik der Universität Mainz. Es gebe nämlich einen völlig unübersichtlichen grauen Markt für Open-Access-Journals. Maurer war selbst schon einmal Peer Reviewer für die Open-Access-Zeitschrift „Plos One“ der Public Library of Science. Die ist für ihn aber auch die einzige Open-Access-Zeitschrift, die die Qualitätsstandards erfülle.

Ich gehe davon aus, dass das ein wenig aus dem Zusammenhang gerissen ist. Sollte dies wirklich genau in dieser Form gesagt worden sein, zeugt das nicht unbedingt von großer Kenntnis des Open-Access-Zeitschriftenmarkts. Im nächsten Absatz wird übrigens erklärt, dass OA-Artikel häufiger zitiert werden. Maurers Skepsis scheinen ziemlich viele WissenschaftlerInnen nicht zu teilen.

Eine Kollegin, die mich auf den Artikel aufmerksam gemacht hat, prophezeit übrigens, dass darauf mit hoher Wahrscheinlichkeit die üblichen Anti-OA-FAZiaden folgen werden. Ich würde nicht dagegen setzen.

Was verändert Peer Review?

Martin Klein, Peter Broadwell, Sharon E. Farb, Todd Grappone: Comparing Published Scientific Journal Articles to Their Pre-print Versions

Abstract:

Academic publishers claim that they add value to scholarly communications by coordinating reviews and contributing and enhancing text during publication. These contributions come at a considerable cost: U.S. academic libraries paid $1.7 billion for serial subscriptions in 2008 alone. Library budgets, in contrast, are flat and not able to keep pace with serial price inflation. We have investigated the publishers’ value proposition by conducting a comparative study of pre-print papers and their final published counterparts. This comparison had two working assumptions: 1) if the publishers’ argument is valid, the text of a pre-print paper should vary measurably from its corresponding final published version, and 2) by applying standard similarity measures, we should be able to detect and quantify such differences. Our analysis revealed that the text contents of the scientific papers generally changed very little from their pre-print to final published versions. These findings contribute empirical indicators to discussions of the added value of commercial publishers and therefore should influence libraries’ economic decisions regarding access to scholarly publications.

Hier geht’s zum Volltext.

[via @hdvsomp]

Peer Review für Klima-Presse

Teil der Operation Frühjahrsputz 2016, in deren Verlauf angefangene und nie beendete Postings einfach so veröffentlicht werden.

Zum Klimaschutz wird – längst nicht mehr nur in den USA – eine Menge “klimaskeptischer” Blödsinn veröffentlicht. Climate Feedback bemüht sich, via Hypothesis ausgewählte Zeitungs- und Zeitschriftenartikel zum Klimawandel einer Art Peer Review zu unterziehen.

[via Reddit]

Das NIPS-Experiment: Peer Review oder Münzwurf

Seltsam unbeachtet blieb im deutschsprachigen Raum bisher das NIPS-Experiment. NIPS steht für Neural Information Processing Systems, eine Konferenz zum Maschinellen Lernen.

Worum ging es beim NIPS-Experiment? Für die NIPS 2014 wurden zwei Programmkommitees eingerichtet. 10% der Einreichungen (166) wurden beiden Kommitees zur Begutachtung vorgelegt. Es sollte geprüft werden, wie sehr die Entscheidungen übereinstimmen. Das Fazit in zwei Worten: nicht sehr. Die meisten der tatsächlich gehaltenen Vorträge wären abgelehnt worden, wenn man die Begutachtung noch einmal vom jeweils anderen Kommitee hätte durchführen lassen. Eric Price geht ins Detail:

The results were revealed this week: of the 166 papers, the two committees disagreed on the fates of 25.9% of them: 43. [Update: the original post said 42 here, but I misremembered.] But this “25%” number is misleading, and most people I’ve talked to have misunderstood it: it actually means that the two committees disagreed more than they agreed on which papers to accept. Let me explain.

The two committees were each tasked with a 22.5% acceptance rate. This would mean choosing about 37 or 38 of the 166 papers to accept1. Since they disagreed on 43 papers total, this means one committee accepted 21 papers that the other committee rejected and the other committee accepted 22 papers the first rejected, for 21 + 22 = 43 total papers with different outcomes. Since they accepted 37 or 38 papers, this means they disagreed on 21/37 or 22/38 ≈ 57% of the list of accepted papers.

In particular, about 57% of the papers accepted by the first committee were rejected by the second one and vice versa. In other words, most papers at NIPS would be rejected if one reran the conference review process (with a 95% confidence interval of 40-75%)

Peer Review (Symbolfoto)
Peer Review (Symbolfoto)

Price führt weiter aus, dass also die Hälfte der Einreichungen übereinstimmend abgelehnt, die andere aber mit der Zuverlässigkeit eines Münzwurfes abgelehnt oder angenommen wurde. Die Kommentare zu seinem Posting sind übrigens höchst lesenswert, ebenso einige der zahlreichen anderen dazu erschienenen Postings, zum Beispiel:

In das gleiche Horn stößt anlassunabhängig auch Michael Eisen, der gerade ein AMA (“Ask me anything”) auf Reddit durchgeführt hat.

Zitier- und Review-Kartell in Taiwan, aber wissenschaftliches Fehlverhalten überall

Retractionwatch berichtete, dass SAGE 60 Publikationen zurückzog, da sie in einem Zitier- und Review-Kartell entstanden seien:

SAGE Publishers is retracting 60 articles from the Journal of Vibration and Control after an investigation revealed a “peer review and citation ring” involving a professor in Taiwan.

Fefe raunte daraufhin:

Immerhin passt das Weltbild an der Stelle, dass das natürlich Chinesen und keine Europäer waren.

Fefes Kommentare sind oft nicht wörtlich zu nehmen, er bittet ja nicht umsonst um Einreichung von Verschwörungslinks. Aber gucken wir uns diese Vermutung dennoch mal kurz an. Beim Überfliegen der letzten Fälle auf Retraction Watch scheint der Anteil von AutorInnen mit asiatisch klingenden Namen tatsächlich recht hoch zu sein. Interessanter als der ohne genauere Recherche ohnehin nur zu vermutende Ursprung der Nachnamen sind jedoch die jeweiligen Institutionen, an denen die Corresponding Authors beheimatet sind:

In dieser absolut nicht repräsentativen Stichprobe ergibt das:

  • 3x USA
  • 2x China
  • 1x Australien
  • 1x Taiwan

Ziemlich viel USA, ziemlich viel China. Und dies entspricht auch dem Anteil dieser Länder an der Gesamtproduktion wissenschaftlicher Publikationen, zumindest für das Jahr 2012.

Wo viel wissenschaftlich gearbeitet wird, findet also auch viel wissenschaftliches Fehlverhalten statt. Eine wenig überraschende Erkenntnis, und kein Skandal weit und breit.

Open Access: noch lange nicht am Ende

Teil der Operation Frühjahrsputz 2013, in deren Verlauf angefangene und nie beendete Postings einfach so veröffentlicht werden.

David Worlock fragt: Is Open Access over?

Open Access , defined around the historic debate twixt Green and Gold , when Quixote Harnad tilted at publishers waving their arms like windmills , is most definitely over . Open is not , if by that we begin to define what we mean by Open Data , or indeed Open Science . But Open Access is now open access.

Liest man den Artikel, sieht man Open Access als Entwicklung jedoch noch längst nicht am Ende.

PeerJ: Editorial Board

Im PeerJ-Blog wurden die ersten Mitglieder des ‘Editorial Board of Academic Editors’ und des ‘Academic Advisory Board’ bekannt gegeben.

Die Academic Editors betreuen die Publikationen, suchen Peer Reviewer, begleiten den Reviewprozess und treffen auch die Entscheidung, ob das betreffende Werk veröffentlicht wird.

Die Mitglieder des Advisory Board sind beratend tätig. Darunter befinden sich u.a. drei Nobelpreisträger (Bruce A. Beutler, Mario R. Capecchi und Harald zur Hausen).

Von (bisher) 16 Advisors sind 13 Männer und drei Frauen; zehn arbeiten in den USA, vier in Großbritannien und zwei in Deutschland. PeerJ beklagt auch die mangelnde Vielfalt:

Finally, we would like to acknowledge that we are aware that the diversity of our Editorial Board (in gender, race and age) could be improved upon. Clearly this is not unique to PeerJ and is, in fact, an issue in the wider Academic community. With that said, we do intend to improve upon this and ultimately to build as balanced of an Editorial Board as possible.

Bisher sind alle Mitglieder aus der Biologie oder der Medizin. Die Schar der Academic Editors ist schon etwas bunter.

Peerj ist online

Peerj ist nun online. Im VÖBBlog ist das Geschäftsmodell folgendermaßen zusammengefasst:

Das Konzept des neuen Geschäftsmodells: Für 99 Dollar erwirbt man mit der Mitgliedschaft ein lebens­lan­ges Recht auf eine Publikation pro Jahr, muss aller­dings auch reviewen. Der Reviewprozess soll öffent­lich ablaufen.

Der oft erwähnte Preiskampf bei Open-Access-Geschäftsmodellen geht nun also in eine neue Runde.