Problematische Aspekte bibliometrie-basierter Leistungsbewertung

Die zur Zeit unter dem problematischen Begriff “Fake Science” geführte Debatte fokussiert sich bisher auf die Sensationalisierung einzelner Symptome des Wissenschaftsbetriebs, die sich in teils fragwürdigen Publikationen in meist wenig relevanten “Papergräbern” äußern. Hierbei wird die Chance vertan, systemische Fehlanreize zu diskutieren. Statt dessen riecht es recht streng nach dem Zombie “Heidelberger Appell”, dessen Auferstehung viele Repository-Manager mit längst geführten Debatten um wertvolle Arbeits- und Lebenszeit bringen könnte.

Ich habe mich daher entschieden, einen eigentlich nicht zur Veröffentlichung bestimmten Text zu veröffentlichen, der darüber hinaus eigentlich noch längst nicht fertig ist. Es geht darin um “Problematische Aspekte bibliometrie-basierter Leistungsbewertung” (Arbeitstitel). Abstract:

Bibliometrie dient oftmals als Grundlage für die Beurteilung wissenschaftlicher Leistung. Dazu werden verschiedene Metriken und Indikatoren verwendet, die zur Vermessung von Publikationen oder des Outputs von Forschenden gedacht sind. Die Eignung der verwendeten Kennzahlen ist strittig. Oft ist es klar, dass sie völlig ungeeignet sind. Dennoch dienen sie nach wie vor als Grundlage, um über die Karrieren von Forschenden und somit über ihre individuelle Zukunft, aber auch die Zusammensetzung der Akteure in der Wissenschaftslandschaft zu entscheiden. Dies führt zu verschiedenen ethischen und auch ökonomischen Problemen. Initiativen wie die San Francisco Declaration of Research Assessment (DORA) versuchen, diesen Fehlentwicklungen entgegen zu wirken.

Es handelt sich bei diesem Text im Wesentlichen um eine literaturbasierte Auseinandersetzung, um eine Erkundung des Themenfeldes. Mir geht es mit der Veröffentlichung des Textes vor allem darum, ein wenig Aufmerksamkeit von den Symptomen auf die Ursachen der aktuell diskutierten Situation zu lenken. Ich hoffe auf konstruktives Feedback zur Verbesserung des Textes. Daher möchte ich an dieser Stelle auf die Möglichkeit hinweisen, den in E-LIS veröffentlichten Text via Hypothes.is zu kommentieren.

Zur Debatte selbst möchte ich übrigens diesen Kommentar von Uli Blumenthal im Deutschlandfunk (mp3) empfehlen.

Was verändert Peer Review?

Martin Klein, Peter Broadwell, Sharon E. Farb, Todd Grappone: Comparing Published Scientific Journal Articles to Their Pre-print Versions

Abstract:

Academic publishers claim that they add value to scholarly communications by coordinating reviews and contributing and enhancing text during publication. These contributions come at a considerable cost: U.S. academic libraries paid $1.7 billion for serial subscriptions in 2008 alone. Library budgets, in contrast, are flat and not able to keep pace with serial price inflation. We have investigated the publishers’ value proposition by conducting a comparative study of pre-print papers and their final published counterparts. This comparison had two working assumptions: 1) if the publishers’ argument is valid, the text of a pre-print paper should vary measurably from its corresponding final published version, and 2) by applying standard similarity measures, we should be able to detect and quantify such differences. Our analysis revealed that the text contents of the scientific papers generally changed very little from their pre-print to final published versions. These findings contribute empirical indicators to discussions of the added value of commercial publishers and therefore should influence libraries’ economic decisions regarding access to scholarly publications.

Hier geht’s zum Volltext.

[via @hdvsomp]