Problematische Aspekte bibliometrie-basierter Leistungsbewertung

Die zur Zeit unter dem problematischen Begriff “Fake Science” geführte Debatte fokussiert sich bisher auf die Sensationalisierung einzelner Symptome des Wissenschaftsbetriebs, die sich in teils fragwürdigen Publikationen in meist wenig relevanten “Papergräbern” äußern. Hierbei wird die Chance vertan, systemische Fehlanreize zu diskutieren. Statt dessen riecht es recht streng nach dem Zombie “Heidelberger Appell”, dessen Auferstehung viele Repository-Manager mit längst geführten Debatten um wertvolle Arbeits- und Lebenszeit bringen könnte.

Ich habe mich daher entschieden, einen eigentlich nicht zur Veröffentlichung bestimmten Text zu veröffentlichen, der darüber hinaus eigentlich noch längst nicht fertig ist. Es geht darin um “Problematische Aspekte bibliometrie-basierter Leistungsbewertung” (Arbeitstitel). Abstract:

Bibliometrie dient oftmals als Grundlage für die Beurteilung wissenschaftlicher Leistung. Dazu werden verschiedene Metriken und Indikatoren verwendet, die zur Vermessung von Publikationen oder des Outputs von Forschenden gedacht sind. Die Eignung der verwendeten Kennzahlen ist strittig. Oft ist es klar, dass sie völlig ungeeignet sind. Dennoch dienen sie nach wie vor als Grundlage, um über die Karrieren von Forschenden und somit über ihre individuelle Zukunft, aber auch die Zusammensetzung der Akteure in der Wissenschaftslandschaft zu entscheiden. Dies führt zu verschiedenen ethischen und auch ökonomischen Problemen. Initiativen wie die San Francisco Declaration of Research Assessment (DORA) versuchen, diesen Fehlentwicklungen entgegen zu wirken.

Es handelt sich bei diesem Text im Wesentlichen um eine literaturbasierte Auseinandersetzung, um eine Erkundung des Themenfeldes. Mir geht es mit der Veröffentlichung des Textes vor allem darum, ein wenig Aufmerksamkeit von den Symptomen auf die Ursachen der aktuell diskutierten Situation zu lenken. Ich hoffe auf konstruktives Feedback zur Verbesserung des Textes. Daher möchte ich an dieser Stelle auf die Möglichkeit hinweisen, den in E-LIS veröffentlichten Text via Hypothes.is zu kommentieren.

Zur Debatte selbst möchte ich übrigens diesen Kommentar von Uli Blumenthal im Deutschlandfunk (mp3) empfehlen.

Auftragsforschung in der Kritik

Bei Heise ging es kürzlich um von den technischen Universitäten geäußerte Kritik an Auftragsforschung:

Die Technischen Universitäten warnen die Wirtschaft vor einer immer stärkeren Verquickung von Forschungsgeldern und inhaltlichen Vorgaben bei Hightech-Themen. “Unser Eindruck ist, dass sich die Grenzen verschoben haben”, sagte der Präsident der TU Darmstadt, Prof. Dr. Hans Jürgen Prömel, der Deutschen Presse-Agentur. Zunehmend komme es vor, dass die Industrie selbst etwa Promotionsstellen “ausschreibe” und so versuche, die Ausrichtung wichtiger Projekte direkt zu beeinflussen.

Das ginge sogar so weit, dass erwartet würde, Forschungsergebnisse nicht zu publizieren, sondern vertraulich zu behandeln.

Das dies eine Folge der stets geforderten hohen Drittmittelquote und Industrienähe ist, ist wohl kein origineller Gedanke. Eine lesenswerte Schrift zur Messung von Forschungsleistung über die eingeworbenen Drittmittel hat Jürgen Gerhard [1]Gerhards, Jürgen (2013): Der deutsche Sonderweg in der Messung von Forschungsleistungen. Berlin: Berlin-Brandenburgische Akademie der Wissenschaften (Wissenschaftspolitik im Dialog, 7). Online … Continue reading  schon 2013 erfasst. Teile seiner Kritik – auch am “Förder-Rankings” der DFG – wurden wahr- und angenommen.

Die Summe der eingeworbenen Drittmittel bildet in der Bundesrepublik die zentrale Messgröße zur Bestimmung der Qualität von Forschung. Die Zentralakteure des deutschen Wissenschaftssystems, vor allem die Deutsche Forschungsgemeinschaft, aber auch der Wissenschaftsrat, haben einen entscheidenden Anteil daran, dass Drittmittel als Forschungsleistungsindikatoren so hoch gehalten, wenn nicht fetischisiert werden. So ist das Forschungsranking der DFG, das in regelmäßigen Abständen publiziert wird und das enorm wirkungsmächtig ist, fast ausschließlich drittmittelbasiert.

Das Förder-Ranking heißt inzwischen Förderatlas. Doch auch dort heißt in der aktuell gültigen Ausgabe von 2015 noch:

Für die Gewinnung der Kennzahlen werden auch im diesjährigen Förderatlas insbesondere Daten von öffentlichen Drittmittelgebern herangezogen und ausgewertet. Dies ist deren besonderer Aussagekraft geschuldet: Drittmittel werden im Wettbewerb eingeworben, die Mittelvergabe stützt sich auf das Urteil von Peers, die als Expertinnen und Experten des jeweiligen Forschungsfelds anerkannt sind. Wenn eine Einrichtung auf einem bestimmten Gebiet in größerem Umfang Drittmittel einwirbt oder aus entsprechenden Programmen finanzierte Gastwissenschaftlerinnen und -wissenschaftler für sich gewinnen kann, dann ist damit auch ein Qualitätsurteil dieser Peers verbunden.

Auch wenn es hier nur um Drittmittel von öffentlichen Geldgebern geht, ist die Relevanz der eingeworbenen Gelder auch aus dem Industriesektor wohl unumstritten. So ist Forschungsförderung für die in Deutschland auf Bundesebene seit 2005 regierende CDU in erster Linie zur Förderung der Industrie gedacht, wie schon in der Pressemitteilung zum Leitbild für eine zukunftsfähige Hochschul- und Forschungslandschaft in Deutschland klar wird.

 

References

References
1 Gerhards, Jürgen (2013): Der deutsche Sonderweg in der Messung von Forschungsleistungen. Berlin: Berlin-Brandenburgische Akademie der Wissenschaften (Wissenschaftspolitik im Dialog, 7). Online verfügbar unter http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:b4-opus-23876, zuletzt geprüft am 09.07.2017.

Nachtrag zum Open Data Citation Advantage

Wer einem Artikel über den Open Data Citation Advantage beim Entstehen zusehen möchte, sollte (eigentlich immer, aber jetzt besonders) Research Remix, Heather Piwowars Blog, verfolgen. Sie postet dort Abschnitte ihres gerade entstehenden Artikels, die teils auch schon kommentiert wurden.

Wo ich schon dabei bin: Man kann und sollte ihr auch auf Twitter folgen.

Mögliche Ursachen für einen Open Data Citation Advantage

Heather Piwowar schlägt fünf mögliche Ursachen für einen Open Data Citation Advantage vor:

  1. Data Reuse. Papers with available datasets can be used in more ways than papers without data, and therefore may receive additional attributions upon published data reuse.
  2. Credibility Signalling. The credibility of research findings may be higher for research papers with available data. Such papers may be preferentially chosen background citations and/or the foundation of additional research.
  3. Increased Visibility. Citing authors may be more likely to encounter a research project with available data. More artifacts associated with a research project gives the project a larger footprint, increasing the likelihood that someone finds an aspect of the research. Links from data to the research paper may also increase the search ranking of the research paper.
  4. Early View. When data is made available before a paper is published, some citations may accrue earlier than otherwise because research methods and findings are encountered prior to paper publication.
  5. Selection Bias. Authors may be more likely to publish data for papers they judge to be their best quality work, because they are most proud or confident in the results. ALTERNATIVELY, it is possible that author self-selection bias may have a negative correlation with research quality in the case of Open Data: authors may be less willing to share details for their most important and visible research in order to maintain a competitive edge and avoid the upheaval of error detection.

Sie bittet um Kritik oder weitere Vorschläge.

Akademische Öffentlichkeitsarbeit mit Twitter und Blogs

Times Higher Education berichtet über einen Versuch, die Sichtbarkeit des eigenen akademischen Oeuvres zu steigern:

Six months ago, Melissa Terras decided to investigate whether putting her past research papers in University College London’s free repository and publicising them via blog posts and Twitter would help them find a wider audience than they would get from journal publication alone.

Die Zugriffszahlen sind durch Öffentlichkeitsarbeit von (vermutlich täglich) ein bis zwei Downloads auf über 70 gestiegen. Terras selbst hat ausführlich über ihren Versuch gebloggt.

Investorengeld für ResearchGate

ResearchGate, eines der führenden sozialen Netzwerke für Wissenschaftler, konnte sich zum zweiten Mal Gelder einer illustren Investorenrunde sichern. […]

Mit dem Geld sollen vor allem neue Features in das Netzwerk implementiert werden. Im Mittelpunkt stehen dabei Verfahren zur Messung wissenschaftlicher Reputation auf der Basis qualitativen Feedbacks, zusätzlich sollen Funktionen zum Austausch wissenschaftlicher Informationen ausgebaut werden.

[via Heise]

"Can Tweets Predict Citations?"

Eysenbach et al: Can Tweets Predict Citations? Metrics of Social Impact Based on Twitter and Correlation with Traditional Metrics of Scientific Impact
DOI: http://dx.doi.org/10.2196/jmir.2012

Aus dem Abstract:

Conclusions: Tweets can predict highly cited articles within the first 3 days of article publication. Social media activity either increases citations or reflects the underlying qualities of the article that also predict citations, but the true use of these metrics is to measure the distinct concept of social impact. Social impact measures based on tweets are proposed to complement traditional citation metrics. The proposed twimpact factor may be a useful and timely metric to measure uptake of research findings and to filter research findings resonating with the public in real time.

[via The Atlantic]

10th International Conference on Science and Technology Indicators

Morgen beginnt die 10th International Conference on Science and Technology Indicators in Wien.

Das Erkennen von Trends in der Forschung, die Identifikation von Forschungsgebieten mit einem hohem Zukunftspotential, sowie die Messung von Forschungsleistungen sind die Leitthemen der “10th International Conference on Science and Technology Indicators”.

Die quantitative Messung der Leistung und Entwicklung von Forschung und Technologie (F&T) hat international eine lange Tradition und findet breite Akzeptanz in der F&T-Politik. Eines der bekanntesten Konzepte ist der Impact Faktor von wissenschaftlichen Zeitschriften, welcher durch die Zahl der Zitierungen die Sichtbarkeit wissenschaftlicher Arbeit in der Scientific Community erfasst. “Die Anwendung und die Weiterentwicklung von ähnlichen bibliometrischen Indikatoren gehören auch zu den Aufgaben einer modernen Universitätsbibliothek”, sagt Programme Chair Juan Gorraiz von der Universität Wien.

Weitere wichtige Konferenzthemen sind: Neue Anforderungen und Entwicklungen im Open Access-Publikationswesen, neue Möglichkeiten zur Erforschung der Wissenschaft, Fortschritte in der Forschung zur Knowledge Based Economy und neuartige Analysekonzepte, wie z. B. Netzwerkanalyse und Forschungslandkarten (Mapping Science).

Über 250 WissenschafterInnen, insbesondere InformationswissenschafterInnen, WissenschaftspublizistInnen sowie ForschungsmanagerInnen, DatenbankanbieterInnen, BibliothekarInnen und Policy Maker aus der ganzen Welt tauschen neueste Erkenntnisse über Entwicklung und Anwendung von Forschungs- und Technologieindikatoren aus. Neben VertreterInnen der Industrieländer nehmen auch zahlreiche ForscherInnen aus Schwellenländern an der Konferenz teil.

Die Themenpalette klingt interessant. Wer genaueres wissen möchte, dem sei das mit 49 MB reichlich schwergewichtig geratene Book of Abstracts (PDF) empfohlen.

[via IDW-Online]

Inetbib 2008: Repositories

Block 12: Repositories
Uwe Müller, HU Berlin: OA-Netzwerk

DFG-Projekt (HU Berlin, SUB Göttingen und Uni Osnabrück)

Erstmal Allgemeines zu OA.

Zweck von DINI: Steigerung der Akzeptanz in den Institutionen. Antragstellung per Fragebogen, zwei Gutachter (bibliothekarisch und technisch), Kosten ca. 250 €. Bisher 23 Zertifikate ausgegeben, mehrere zur Zeit in Bearbeitung.

Ziel: Stärkung der Repositorien, Erhöhung der Sicherheit, Aggregator für DRIVER, Verbesserung der OA-Infrastruktur. DINI-Zertifikat ist Exportschlager (z.B. Spanien, Indien).

OA-Netzwerk: OAI-Serviceprovider, Harvesting, Aggregation, Anreicherung, Bereitstellung. API ist vorgesehen.

Metasuche
Feeds
Anbindung an externe Nachweisdienste (Scirus, Scholar etc.)

Prototyp des OA-Netzwerks: Mitte 2008
Weitere Dienste geplant: OA-Statistik, OA-Citation
http://www.dini.de/oa-netzwerk

Thomas Severiens (UB Osnabrück) und Frank Scholze (UB Stuttgart): „Nutzungs- und Zitationsanalyse als alternative Impactmessung wissenschaftlicher Publikationen“
Qualitätsdienst I: OA-Statistik
Verbesserung des Impacts, Vergleichbare Nutzungsstatistik, Vernetzung von Statistiken, Gewichtung anhand von Nutzungsfaktoren. Die Relevanz von Werken soll exemplarübergreifend erfasst werden.

Qualitätsdienst II:OA-Zitationen
Werkzeug für Wissenschaftler als Autoren und Leser für die Suche und Organisation von Referenzen. Vernetzung über viele Repositorien anhand von Zitationsgraphen. Kooperation der Wissenschaftler oft nicht gegeben, wenn z.B. Referenzen standardisiert werden sollen („Zu viel Arbeit“).

Mirjam Kessler und Stefanie Rühle (KIM): „Interoperable Metadatenmodelle und Repositories“
Metasuche (Cross searching) vs. Suchmaschinenindex (harvesting)
Es liegen heterogene Datenformate vor. Interoperabilität kann nur durch Standardisierung von Metadatenformaten gewährleistet werden. Auch Standardisierung von Metadatenschnittstellen.

OAI-PMH im Vergleich zu OAI-ORE: Object Re-Use

Beispiel Geo-Leo. Singapore Framework.

FAZIT: Dieser Block war mein persönliches Highlight.