DORA-Interview mit Springer-Nature-Herausgeber Philip Campbell

To celebrate DORA’s fifth anniversary, we are hosting a four-part interview series to discuss good practices in research assessment and to better understand how to create effective change in the community. Our third interview is with Sir Philip Campbell, Editor-in-Chief of Springer Nature. He will answer questions about role that publishing plays in research evaluation. DORA Steering Committee Chair, Prof. Stephen Curry will moderate the interview. Participants will have an opportunity to ask questions at the end.

Registrierung und weitere Informationen gibt’s bei Eventbrite.

Problematische Aspekte bibliometrie-basierter Leistungsbewertung

Die zur Zeit unter dem problematischen Begriff “Fake Science” geführte Debatte fokussiert sich bisher auf die Sensationalisierung einzelner Symptome des Wissenschaftsbetriebs, die sich in teils fragwürdigen Publikationen in meist wenig relevanten “Papergräbern” äußern. Hierbei wird die Chance vertan, systemische Fehlanreize zu diskutieren. Statt dessen riecht es recht streng nach dem Zombie “Heidelberger Appell”, dessen Auferstehung viele Repository-Manager mit längst geführten Debatten um wertvolle Arbeits- und Lebenszeit bringen könnte.

Ich habe mich daher entschieden, einen eigentlich nicht zur Veröffentlichung bestimmten Text zu veröffentlichen, der darüber hinaus eigentlich noch längst nicht fertig ist. Es geht darin um “Problematische Aspekte bibliometrie-basierter Leistungsbewertung” (Arbeitstitel). Abstract:

Bibliometrie dient oftmals als Grundlage für die Beurteilung wissenschaftlicher Leistung. Dazu werden verschiedene Metriken und Indikatoren verwendet, die zur Vermessung von Publikationen oder des Outputs von Forschenden gedacht sind. Die Eignung der verwendeten Kennzahlen ist strittig. Oft ist es klar, dass sie völlig ungeeignet sind. Dennoch dienen sie nach wie vor als Grundlage, um über die Karrieren von Forschenden und somit über ihre individuelle Zukunft, aber auch die Zusammensetzung der Akteure in der Wissenschaftslandschaft zu entscheiden. Dies führt zu verschiedenen ethischen und auch ökonomischen Problemen. Initiativen wie die San Francisco Declaration of Research Assessment (DORA) versuchen, diesen Fehlentwicklungen entgegen zu wirken.

Es handelt sich bei diesem Text im Wesentlichen um eine literaturbasierte Auseinandersetzung, um eine Erkundung des Themenfeldes. Mir geht es mit der Veröffentlichung des Textes vor allem darum, ein wenig Aufmerksamkeit von den Symptomen auf die Ursachen der aktuell diskutierten Situation zu lenken. Ich hoffe auf konstruktives Feedback zur Verbesserung des Textes. Daher möchte ich an dieser Stelle auf die Möglichkeit hinweisen, den in E-LIS veröffentlichten Text via Hypothes.is zu kommentieren.

Zur Debatte selbst möchte ich übrigens diesen Kommentar von Uli Blumenthal im Deutschlandfunk (mp3) empfehlen.

Drei Jahre “The Metric Tide” – Responsible Research Metrics in UK

Gestern wurde der Bericht “UK Progress towards the use of metrics responsibly: three years on from The Metric Tide report” (PDF) des UK Forum for Responsible Metrics veröffentlicht.

Executive Summary (S. 4-5, CC BY):

Over the last five years the use, and abuse, of metrics in research assessment has been in sharp focus, with three major frameworks – the San Francisco Declaration on Research Assessment (DORA), the Leiden Manifesto and The Metric Tide – all calling for a step change in the culture of metrics use.

The UK Forum for Responsible Research Metrics (FFRRM) was established in September 2016, and provides advocacy for the UK higher education sector on the use of research metrics responsibly. This report outlines the work of the FFRRM to date, Professor James Wilsdon reflects on progress made in the UK since the independent review of metrics titled The Metric Tide which he chaired in 2015, and the newly appointed Chair of the FFFRM, Professor Max Lu (Vice-Chancellor at the University of Surrey) provides a forward look, outlining the FFRRM’s priorities and next steps.

The FFRRM’s work to date has focused on advising the Research Excellence Framework (REF) 2021 panels on the use of metrics in the research assessment exercise in the UK; developing a set of principles on the governance, purchasing and operation of research infrastructure; and facilitating discussion regarding the culture and the use of research metrics in UK institutions.
The key aim of this report is to reflect the recent discussion, and results from a survey conducted by the FFRRM, about the existing culture of the use of research metrics. The FFRRM hosted a successful event in February 2018 titled ‘The turning tide: a new culture of research metrics’. Over 140 attendees joined, from a variety of stakeholder groups. From the event, it is clear that the UK HE sector wishes to change the existing culture, but that implementing change is multifaceted, and challenging. The three panel sessions brought together stakeholders to discuss the existing frameworks implementation and impact on the culture of research metrics, the researcher’s perspective, and the wider implications of the use of metrics.

The discussion at the event shows that although the UK is engaged, more work needs to be done to share practice and instigate change – it was agreed that this is not a straightforward task. Professor James Wilsdon, who chaired The Metric Tide review, reflects that we are making steps in the right direction, but more effort is needed to embed principles in institutions, to develop better indicators and to foster more sensitive management frameworks.

Professor Max Lu, the newly appointed chair of the FFRRM sets priorities for the group and outlines next steps. He highlights that the FFRRM have a leadership and advocacy role to guide the sector on the use of metrics responsibly. There is a need for better understanding of what works and why. The FFRRM will define communities of practice, and engage with international networks to steer the policy development for the sector.

The FFRRM are delighted to launch this report at the Euroscience Open Forum 2018 (ESOF) event today, with two members talking about how we can use metrics to support open research. This marks the beginning of the FFRRM’s international discussions.

UK Forum for Responsible Metrics 2018. UK Progress towards the use of metrics responsibly: three years on from The Metric Tide report. URL: https://www.universitiesuk.ac.uk/policy-and-analysis/research-policy/open-science/The%20Forum%20for%20Responsible%20Research%20Metrics/UK%20progress%20towards%20the%20use%20of%20metrics%20responsibly%2010072018.pdf [Stand 2018-07-11].

Eugene Garfield (1925 – 2017)

Eugene Garfield, Mitbegründer der Bibliometrie und zweifelsohne eine der einflussreichsten Persönlichkeiten der Informationswissenschaft des 21. Jahrhunderts, verstarb am 26. Februar. In der von ihm gegründeten Zeitschrift The Scientist wurde ein ausführlicher Nachruf veröffentlicht.

Die Verwendung des von ihm entwickelten Impact Factors zur Evaluation von Forschungsoutput sah er äußerst kritisch. Um ihn selbst zu zitieren: [1] Garfield, Eugene (2006): The History and Meaning of the Journal Impact Factor. In: JAMA 295 (1), S. 90–93.(PDF)

The use of journal impacts in evaluating individuals has its inherent dangers. In an ideal world, evaluators would read each article and make personal judgments.

References

References
1 Garfield, Eugene (2006): The History and Meaning of the Journal Impact Factor. In: JAMA 295 (1), S. 90–93.(PDF)

Die Dominanz des einen Prozents

Teil der Operation Frühjahrsputz 2016, in deren Verlauf angefangene und nie beendete Postings einfach so veröffentlicht werden.

Erik Stokstad berichtet über einen PLOS-Artikel, in dem die quantitative Produktivität von Wissenschaftlern vermessen wurde:

John P. A. Ioannidis, Kevin W. Boyack, Richard Klavans (2014): Estimates of the Continuously Publishing Core in the Scientific Workforce. PLoS ONE 9(7): e101698. doi:10.1371/journal.pone.0101698

Abstract:

Using the entire Scopus database, we estimated that there are 15,153,100 publishing scientists (distinct author identifiers) in the period 1996–2011. However, only 150,608 (1000 citations in the same period. Skipping even a single year substantially affected the average citation impact. We also studied the birth and death dynamics of membership in this influential UCP core, by imputing and estimating UCP-births and UCP-deaths. We estimated that 16,877 scientists would qualify for UCP-birth in 1997 (no publication in 1996, UCP in 1997–2012) and 9,673 scientists had their UCP-death in 2010. The relative representation of authors with UCP was enriched in Medical Research, in the academic sector and in Europe/North America, while the relative representation of authors without UCP was enriched in the Social Sciences and Humanities, in industry, and in other continents.

Einfluss von Informationskompetenz-Veranstaltungen auf die Qualität von Masterarbeiten

Zu dieser Lieblingsbeschäftigung gehört natürlich auch das In-Die-Welt-Setzen von Artikeln in der Zeitschrift Informationspraxis. Und so freut es mich, dass ich mit “Einfluss von Informationskompetenz-Veranstaltungen auf die Qualität von Masterarbeiten” von Gary Seitz und Barbara Grossmann nun eine Untersuchung zur Auswirkung von IK-Veranstaltungen freischalten konnte. Besonders interessant finde ich den Versuch, eine Metrik für die Erfolgsmessung von IK-Veranstaltungen vorzuschlagen, nämlich bibliometrische Analysen der nach einer Schulung entstandenen Literaturverzeichnisse.

Es wurde erwartet, dass die geschulten Studierenden mehr und wahrscheinlich auch qualitativ höherwertige Literatur finden und verwenden würden. Dies bestätigte sich, doch das Ausmass war überraschend. Die Steigerungen bei der Anzahl der Literaturverweise, der Zitierungen und des h-Indexes übertrafen bei weitem die Erwartungen. IK-geschulte Studierende verwenden ganz klar mehr und weit öfter zitierte Literatur. Wenn die Zitierungen als Kriterium der Qualität betrachtet werden, so bewirken Informationskompetenz-Schulungen, dass Studierende nicht nur quantitativ, sondern vor allem qualitativ bessere Literaturverzeichnisse erstellen. Mit Hilfe der Korrelationsanalyse lässt sich ein Zusammenhang von der Qualität der Literaturverzeichnisse und der Note der Masterarbeit herstellen.

Hier gibt es noch viel zu diskutieren und auszuprobieren. Besonders die Diskussion, wie man “qualitativ hochwertige Literatur” definiert- und somit den Erfolg von IK-Schulungen – ist weder neu noch wirklich eindeutig zu beantworten, aber noch längst nicht beendet. Spannend wäre es auch schon, wenn nun versucht würde, diese Studie in dieser oder veränderter Form zu wiederholen. Bestätigen sich die Ergebnisse auch in anderen Fächern oder bei anderen Veranstaltungen?

Nach “Informationssuchverhalten als Grundlage für die Gestaltung von Veranstaltungen zum Erwerb von Informationskompetenz” von Martin Wollschläger-Tigges ist dies übrigens der zweite Artikel zur Informationskompetenz in der Informationspraxis.

Plum Analytics (PlumX)

Plum Analytics schreibt sich “Measuring Research Impact” auf die Fahne. Es handelt sich also um ein YAAP (Yet Another Altmetrics Project), hinter dem mit Andrea Michalek und Mike Buschman zwei Primo-Köpfe (Update: siehe Kommentar) Summon-Köpfe stecken.

Plum Analytics tracks more than 20 different types of artifacts, including journal articles, books, videos, presentations, conference proceedings, datasets, source code, cases, and more.

Eine vollständige Liste bekommt man hier, die üblichen Datenquellen (Twitter, Dryad, Figshare, Slideshare, Github, PLoS, Mendeley, WorldCat, etc.) werden abgeschöpft. Nach einer Registrierung kann man sich die Beta-Version mit einigen Testprofilen ansehen.

GMS Medizin — Bibliothek — Information

Wenn es um bibliothekarische, deutschsprachige Open-Access-Zeitschriften geht, werden meist dieselben Beispiele genannt. Libreas, die VÖB-Mitteilungen und neuerdings auch Perspektive Bibliothek. Vergessen wird dabei immer wieder – und m.E. zu Unrecht – GMS Medizin — Bibliothek — Information.

Dabei handelt es sich um ein echtes OA-Journal, herausgegeben von der Arbeitsgemeinschaft für Medizinisches Bibliothekswesen, mit CC-Lizenzierung und Beiträgen unterschiedlichster Art. Dort werden zum Beispiel Fachbeiträge über Repositories, Poster über Bibliometrie oder Mitteilungen zur Aachener Erklärung über den Erwerb von elektronischen Büchern veröffentlicht.

PS: Die neunte Open-Access-Wette (PDF) auf der Inetbib-Tagung ist damit übrigens schon fast erfüllt.

PPS: Lange nichts mehr zum Thema newLIS gehört…

Altmetrics in VuFind

Vor vier Tagen ging es hier um Altmetrics in Primo. Kollege Kinstler aus der VZG las dies und hat in sehr kurzer Zeit (besten Dank!) eine unkomplizierte Umsetzung für VuFind gefunden und in unserem (nicht öffentlichen) Testsystem umgesetzt. Und zwar ganz einfach mittels der von Altmetric.com angebotenen Badges. Die sehen beispielsweise so aus:

Diese Darstellung ist doch etwas klobig, daher haben wir uns im Echtsystem für eine etwas dezentere [1] Die Konfiguration lautet: class=’altmetric-embed’ data-badge-popover=’top’ data-hide-no-mentions=’true’ Variante entschieden. Im kurzen Filmchen sieht man, wie es momentan aussieht:

Beispiele können hier eingesehen werden:

Und wer nicht weiß, was das alles soll: hier geht es zum Altmetrics-Manifesto.

References

References
1 Die Konfiguration lautet: class=’altmetric-embed’ data-badge-popover=’top’ data-hide-no-mentions=’true’