Journal-basierte Forschungsevaluation marginalisiert bestimmte Regionen und Themen

Many research evaluation systems continue to take a narrow view of excellence, judging the value of work based on the journal in which it is published. Recent research by Diego Chavarro, Ismael Ràfols and colleagues shows how such systems underestimate and prove detrimental to the production of research relevant to important social, economic, and environmental issues. These systems also reflect the biases of journal citation databases which focus heavily on English-language research from the USA and north and western Europe. Moreover, topics covered by these databases often relate to the interests of industrial stakeholders rather than those of local communities. More inclusive research assessments are needed to overcome the ongoing marginalisation of some peoples, languages, and disciplines and promote engagement rather than elitism.

Mehr Infos im LSE-Blog, aus dem dieser Auszug stammt. Dort wird auch auf die DORA-Deklaration und das Leiden-Manifesto verwiesen.

 

Linked Open Citation Database (LOC-DB) Workshop am 7. November 2017

Der eintägige Workshop findet am 7. November 2017 im Schloss Mannheim (Fuchs-Petrolub-Saal O138) statt und ist für die Teilnehmer kostenfrei. Der Workshop wird überwiegend in deutscher Sprache durchgeführt, einzelne Vorträge sind in Englisch.

[…]

Zur Anmeldung schicken Sie bitte eine kurze E-Mail bis zum 27. Oktober 2017 unter Angabe Ihrer Kontaktdaten an locdb[at]mail.uni-mannheim.de.

Hier geht’s zum Programm (PDF). Ich kann leider nicht selbst teilnehmen, eine Kollegin wird allerdings hinfahren. Da das Thema “freie und offene Metriken” hoffentlich relevanter wird, kann ich allen am Thema Open Science und/oder Bibliometrie Interessierten die Teilnahme wirklich nur dringend empfehlen.

Eugene Garfield (1925 – 2017)

Eugene Garfield, Mitbegründer der Bibliometrie und zweifelsohne eine der einflussreichsten Persönlichkeiten der Informationswissenschaft des 21. Jahrhunderts, verstarb am 26. Februar. In der von ihm gegründeten Zeitschrift The Scientist wurde ein ausführlicher Nachruf veröffentlicht.

Die Verwendung des von ihm entwickelten Impact Factors zur Evaluation von Forschungsoutput sah er äußerst kritisch. Um ihn selbst zu zitieren: 1) Garfield, Eugene (2006): The History and Meaning of the Journal Impact Factor. In: JAMA 295 (1), S. 90–93.(PDF)

The use of journal impacts in evaluating individuals has its inherent dangers. In an ideal world, evaluators would read each article and make personal judgments.

References   [ + ]

1. Garfield, Eugene (2006): The History and Meaning of the Journal Impact Factor. In: JAMA 295 (1), S. 90–93.(PDF)

Die Dominanz des einen Prozents

Teil der Operation Frühjahrsputz 2016, in deren Verlauf angefangene und nie beendete Postings einfach so veröffentlicht werden.

Erik Stokstad berichtet über einen PLOS-Artikel, in dem die quantitative Produktivität von Wissenschaftlern vermessen wurde:

John P. A. Ioannidis, Kevin W. Boyack, Richard Klavans (2014): Estimates of the Continuously Publishing Core in the Scientific Workforce. PLoS ONE 9(7): e101698. doi:10.1371/journal.pone.0101698

Abstract:

Using the entire Scopus database, we estimated that there are 15,153,100 publishing scientists (distinct author identifiers) in the period 1996–2011. However, only 150,608 (1000 citations in the same period. Skipping even a single year substantially affected the average citation impact. We also studied the birth and death dynamics of membership in this influential UCP core, by imputing and estimating UCP-births and UCP-deaths. We estimated that 16,877 scientists would qualify for UCP-birth in 1997 (no publication in 1996, UCP in 1997–2012) and 9,673 scientists had their UCP-death in 2010. The relative representation of authors with UCP was enriched in Medical Research, in the academic sector and in Europe/North America, while the relative representation of authors without UCP was enriched in the Social Sciences and Humanities, in industry, and in other continents.

Einfluss von Informationskompetenz-Veranstaltungen auf die Qualität von Masterarbeiten

Zu dieser Lieblingsbeschäftigung gehört natürlich auch das In-Die-Welt-Setzen von Artikeln in der Zeitschrift Informationspraxis. Und so freut es mich, dass ich mit “Einfluss von Informationskompetenz-Veranstaltungen auf die Qualität von Masterarbeiten” von Gary Seitz und Barbara Grossmann nun eine Untersuchung zur Auswirkung von IK-Veranstaltungen freischalten konnte. Besonders interessant finde ich den Versuch, eine Metrik für die Erfolgsmessung von IK-Veranstaltungen vorzuschlagen, nämlich bibliometrische Analysen der nach einer Schulung entstandenen Literaturverzeichnisse.

Es wurde erwartet, dass die geschulten Studierenden mehr und wahrscheinlich auch qualitativ höherwertige Literatur finden und verwenden würden. Dies bestätigte sich, doch das Ausmass war überraschend. Die Steigerungen bei der Anzahl der Literaturverweise, der Zitierungen und des h-Indexes übertrafen bei weitem die Erwartungen. IK-geschulte Studierende verwenden ganz klar mehr und weit öfter zitierte Literatur. Wenn die Zitierungen als Kriterium der Qualität betrachtet werden, so bewirken Informationskompetenz-Schulungen, dass Studierende nicht nur quantitativ, sondern vor allem qualitativ bessere Literaturverzeichnisse erstellen. Mit Hilfe der Korrelationsanalyse lässt sich ein Zusammenhang von der Qualität der Literaturverzeichnisse und der Note der Masterarbeit herstellen.

Hier gibt es noch viel zu diskutieren und auszuprobieren. Besonders die Diskussion, wie man “qualitativ hochwertige Literatur” definiert- und somit den Erfolg von IK-Schulungen – ist weder neu noch wirklich eindeutig zu beantworten, aber noch längst nicht beendet. Spannend wäre es auch schon, wenn nun versucht würde, diese Studie in dieser oder veränderter Form zu wiederholen. Bestätigen sich die Ergebnisse auch in anderen Fächern oder bei anderen Veranstaltungen?

Nach “Informationssuchverhalten als Grundlage für die Gestaltung von Veranstaltungen zum Erwerb von Informationskompetenz” von Martin Wollschläger-Tigges ist dies übrigens der zweite Artikel zur Informationskompetenz in der Informationspraxis.

Plum Analytics (PlumX)

Plum Analytics schreibt sich “Measuring Research Impact” auf die Fahne. Es handelt sich also um ein YAAP (Yet Another Altmetrics Project), hinter dem mit Andrea Michalek und Mike Buschman zwei Primo-Köpfe (Update: siehe Kommentar) Summon-Köpfe stecken.

Plum Analytics tracks more than 20 different types of artifacts, including journal articles, books, videos, presentations, conference proceedings, datasets, source code, cases, and more.

Eine vollständige Liste bekommt man hier, die üblichen Datenquellen (Twitter, Dryad, Figshare, Slideshare, Github, PLoS, Mendeley, WorldCat, etc.) werden abgeschöpft. Nach einer Registrierung kann man sich die Beta-Version mit einigen Testprofilen ansehen.

GMS Medizin — Bibliothek — Information

Wenn es um bibliothekarische, deutschsprachige Open-Access-Zeitschriften geht, werden meist dieselben Beispiele genannt. Libreas, die VÖB-Mitteilungen und neuerdings auch Perspektive Bibliothek. Vergessen wird dabei immer wieder – und m.E. zu Unrecht – GMS Medizin — Bibliothek — Information.

Dabei handelt es sich um ein echtes OA-Journal, herausgegeben von der Arbeitsgemeinschaft für Medizinisches Bibliothekswesen, mit CC-Lizenzierung und Beiträgen unterschiedlichster Art. Dort werden zum Beispiel Fachbeiträge über Repositories, Poster über Bibliometrie oder Mitteilungen zur Aachener Erklärung über den Erwerb von elektronischen Büchern veröffentlicht.

PS: Die neunte Open-Access-Wette (PDF) auf der Inetbib-Tagung ist damit übrigens schon fast erfüllt.

PPS: Lange nichts mehr zum Thema newLIS gehört…

Altmetrics in VuFind

Vor vier Tagen ging es hier um Altmetrics in Primo. Kollege Kinstler aus der VZG las dies und hat in sehr kurzer Zeit (besten Dank!) eine unkomplizierte Umsetzung für VuFind gefunden und in unserem (nicht öffentlichen) Testsystem umgesetzt. Und zwar ganz einfach mittels der von Altmetric.com angebotenen Badges. Die sehen beispielsweise so aus:

Diese Darstellung ist doch etwas klobig, daher haben wir uns im Echtsystem für eine etwas dezentere 1) Die Konfiguration lautet: class=’altmetric-embed’ data-badge-popover=’top’ data-hide-no-mentions=’true’ Variante entschieden. Im kurzen Filmchen sieht man, wie es momentan aussieht:

Beispiele können hier eingesehen werden:

Und wer nicht weiß, was das alles soll: hier geht es zum Altmetrics-Manifesto.

References   [ + ]

1. Die Konfiguration lautet: class=’altmetric-embed’ data-badge-popover=’top’ data-hide-no-mentions=’true’

Altmetrics in Primo

Christine Stohn schreibt über eine Extension, mit der man Altmetrics in Primo integrieren kann:

We have just added a free Primo code extension to the CodeShare area in EL Commons, the Ex Libris collaborative platform. It enables libraries using Primo to embed altmetrics from altmetric.com into the search results. I am very excited about this new feature. Read more about my take on altmetrics below the picture.

Die Idee ist gut, die API ist hier. VuFind könnte sowas doch auch ganz gut gebrauchen…