Journal-basierte Forschungsevaluation marginalisiert bestimmte Regionen und Themen

Many research evaluation systems continue to take a narrow view of excellence, judging the value of work based on the journal in which it is published. Recent research by Diego Chavarro, Ismael Ràfols and colleagues shows how such systems underestimate and prove detrimental to the production of research relevant to important social, economic, and environmental issues. These systems also reflect the biases of journal citation databases which focus heavily on English-language research from the USA and north and western Europe. Moreover, topics covered by these databases often relate to the interests of industrial stakeholders rather than those of local communities. More inclusive research assessments are needed to overcome the ongoing marginalisation of some peoples, languages, and disciplines and promote engagement rather than elitism.

Mehr Infos im LSE-Blog, aus dem dieser Auszug stammt. Dort wird auch auf die DORA-Deklaration und das Leiden-Manifesto verwiesen.

 

Linked Open Citation Database (LOC-DB) Workshop am 7. November 2017

Der eintägige Workshop findet am 7. November 2017 im Schloss Mannheim (Fuchs-Petrolub-Saal O138) statt und ist für die Teilnehmer kostenfrei. Der Workshop wird überwiegend in deutscher Sprache durchgeführt, einzelne Vorträge sind in Englisch.

[…]

Zur Anmeldung schicken Sie bitte eine kurze E-Mail bis zum 27. Oktober 2017 unter Angabe Ihrer Kontaktdaten an locdb[at]mail.uni-mannheim.de.

Hier geht’s zum Programm (PDF). Ich kann leider nicht selbst teilnehmen, eine Kollegin wird allerdings hinfahren. Da das Thema “freie und offene Metriken” hoffentlich relevanter wird, kann ich allen am Thema Open Science und/oder Bibliometrie Interessierten die Teilnahme wirklich nur dringend empfehlen.

Gesellschaftliche Auswirkungen von Publikationen messen?

Die gesellschaftlichen Auswirkungen von wissenschaftlichen Publikationen sind schwer messbar, da “die Gesellschaft” nur teilweise schriftlich und dort wiederum nur zu einem geringen Teil in einer Art und Weise mit wissenschaftlicher Literatur hantiert, die eine Nachverfolgung der Literatur möglich macht.

In den alternativen Metriken wird dies u.a. durch Crawlen von Zeitungswebseiten versucht. Wird dort eine DOI erwähnt oder ein Artikel direkt verlinkt, so kann dies gezählt werden. Dies ist u.a. zu sehen bei Altmetric.com, wo in diesem Beispiel zwei Artikel bei The Scientist und einer auf Heise.de gefunden wurden.

Doch ist dies die einzige Möglichkeit, den gesellschaftlichen Einfluss zu messen? Wie sieht es in der politischen Sphäre aus. Ein Ansatzpunkt wären hier die Schriften des Wissenschaftlichen Dienstes, in denen zumindest zu einem beachtlichen Teil wissenschaftliche Literatur zitiert wird – bei meinen Stichproben aber durchweg ohne Angabe eines persistenten Identifiers 1) und das die Dokumente selbst keinen haben ist ein uralter Kritikpunkt von mir … .

Es gibt sicherlich noch weitere schriftliche Kommunikation, die frei zugänglich ist und die eine Vermutung über gesellschaftliche Relevanz zulassen. Für Ideen wäre ich dankbar! Am liebsten wäre es mir, sie gleich in die Kommentare zu geben. Auf Twitter geht so etwas leicht unter.

PS: Measuring the societal impact of research von Lutz Bornmann ist ein interessanter Literatureinstieg zum Thema.

References   [ + ]

1. und das die Dokumente selbst keinen haben ist ein uralter Kritikpunkt von mir …

Auftragsforschung in der Kritik

Bei Heise ging es kürzlich um von den technischen Universitäten geäußerte Kritik an Auftragsforschung:

Die Technischen Universitäten warnen die Wirtschaft vor einer immer stärkeren Verquickung von Forschungsgeldern und inhaltlichen Vorgaben bei Hightech-Themen. “Unser Eindruck ist, dass sich die Grenzen verschoben haben”, sagte der Präsident der TU Darmstadt, Prof. Dr. Hans Jürgen Prömel, der Deutschen Presse-Agentur. Zunehmend komme es vor, dass die Industrie selbst etwa Promotionsstellen “ausschreibe” und so versuche, die Ausrichtung wichtiger Projekte direkt zu beeinflussen.

Das ginge sogar so weit, dass erwartet würde, Forschungsergebnisse nicht zu publizieren, sondern vertraulich zu behandeln.

Das dies eine Folge der stets geforderten hohen Drittmittelquote und Industrienähe ist, ist wohl kein origineller Gedanke. Eine lesenswerte Schrift zur Messung von Forschungsleistung über die eingeworbenen Drittmittel hat Jürgen Gerhard 1) Gerhards, Jürgen (2013): Der deutsche Sonderweg in der Messung von Forschungsleistungen. Berlin: Berlin-Brandenburgische Akademie der Wissenschaften (Wissenschaftspolitik im Dialog, 7). Online verfügbar unter http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:b4-opus-23876, zuletzt geprüft am 09.07.2017.  schon 2013 erfasst. Teile seiner Kritik – auch am “Förder-Rankings” der DFG – wurden wahr- und angenommen.

Die Summe der eingeworbenen Drittmittel bildet in der Bundesrepublik die zentrale Messgröße zur Bestimmung der Qualität von Forschung. Die Zentralakteure des deutschen Wissenschaftssystems, vor allem die Deutsche Forschungsgemeinschaft, aber auch der Wissenschaftsrat, haben einen entscheidenden Anteil daran, dass Drittmittel als Forschungsleistungsindikatoren so hoch gehalten, wenn nicht fetischisiert werden. So ist das Forschungsranking der DFG, das in regelmäßigen Abständen publiziert wird und das enorm wirkungsmächtig ist, fast ausschließlich drittmittelbasiert.

Das Förder-Ranking heißt inzwischen Förderatlas. Doch auch dort heißt in der aktuell gültigen Ausgabe von 2015 noch:

Für die Gewinnung der Kennzahlen werden auch im diesjährigen Förderatlas insbesondere Daten von öffentlichen Drittmittelgebern herangezogen und ausgewertet. Dies ist deren besonderer Aussagekraft geschuldet: Drittmittel werden im Wettbewerb eingeworben, die Mittelvergabe stützt sich auf das Urteil von Peers, die als Expertinnen und Experten des jeweiligen Forschungsfelds anerkannt sind. Wenn eine Einrichtung auf einem bestimmten Gebiet in größerem Umfang Drittmittel einwirbt oder aus entsprechenden Programmen finanzierte Gastwissenschaftlerinnen und -wissenschaftler für sich gewinnen kann, dann ist damit auch ein Qualitätsurteil dieser Peers verbunden.

Auch wenn es hier nur um Drittmittel von öffentlichen Geldgebern geht, ist die Relevanz der eingeworbenen Gelder auch aus dem Industriesektor wohl unumstritten. So ist Forschungsförderung für die in Deutschland auf Bundesebene seit 2005 regierende CDU in erster Linie zur Förderung der Industrie gedacht, wie schon in der Pressemitteilung zum Leitbild für eine zukunftsfähige Hochschul- und Forschungslandschaft in Deutschland klar wird.

 

References   [ + ]

1. Gerhards, Jürgen (2013): Der deutsche Sonderweg in der Messung von Forschungsleistungen. Berlin: Berlin-Brandenburgische Akademie der Wissenschaften (Wissenschaftspolitik im Dialog, 7). Online verfügbar unter http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:b4-opus-23876, zuletzt geprüft am 09.07.2017.

Nachtrag zum Open Data Citation Advantage

Wer einem Artikel über den Open Data Citation Advantage beim Entstehen zusehen möchte, sollte (eigentlich immer, aber jetzt besonders) Research Remix, Heather Piwowars Blog, verfolgen. Sie postet dort Abschnitte ihres gerade entstehenden Artikels, die teils auch schon kommentiert wurden.

Wo ich schon dabei bin: Man kann und sollte ihr auch auf Twitter folgen.

Mögliche Ursachen für einen Open Data Citation Advantage

Heather Piwowar schlägt fünf mögliche Ursachen für einen Open Data Citation Advantage vor:

  1. Data Reuse. Papers with available datasets can be used in more ways than papers without data, and therefore may receive additional attributions upon published data reuse.
  2. Credibility Signalling. The credibility of research findings may be higher for research papers with available data. Such papers may be preferentially chosen background citations and/or the foundation of additional research.
  3. Increased Visibility. Citing authors may be more likely to encounter a research project with available data. More artifacts associated with a research project gives the project a larger footprint, increasing the likelihood that someone finds an aspect of the research. Links from data to the research paper may also increase the search ranking of the research paper.
  4. Early View. When data is made available before a paper is published, some citations may accrue earlier than otherwise because research methods and findings are encountered prior to paper publication.
  5. Selection Bias. Authors may be more likely to publish data for papers they judge to be their best quality work, because they are most proud or confident in the results. ALTERNATIVELY, it is possible that author self-selection bias may have a negative correlation with research quality in the case of Open Data: authors may be less willing to share details for their most important and visible research in order to maintain a competitive edge and avoid the upheaval of error detection.

Sie bittet um Kritik oder weitere Vorschläge.

Akademische Öffentlichkeitsarbeit mit Twitter und Blogs

Times Higher Education berichtet über einen Versuch, die Sichtbarkeit des eigenen akademischen Oeuvres zu steigern:

Six months ago, Melissa Terras decided to investigate whether putting her past research papers in University College London’s free repository and publicising them via blog posts and Twitter would help them find a wider audience than they would get from journal publication alone.

Die Zugriffszahlen sind durch Öffentlichkeitsarbeit von (vermutlich täglich) ein bis zwei Downloads auf über 70 gestiegen. Terras selbst hat ausführlich über ihren Versuch gebloggt.

Investorengeld für ResearchGate

ResearchGate, eines der führenden sozialen Netzwerke für Wissenschaftler, konnte sich zum zweiten Mal Gelder einer illustren Investorenrunde sichern. […]

Mit dem Geld sollen vor allem neue Features in das Netzwerk implementiert werden. Im Mittelpunkt stehen dabei Verfahren zur Messung wissenschaftlicher Reputation auf der Basis qualitativen Feedbacks, zusätzlich sollen Funktionen zum Austausch wissenschaftlicher Informationen ausgebaut werden.

[via Heise]

"Can Tweets Predict Citations?"

Eysenbach et al: Can Tweets Predict Citations? Metrics of Social Impact Based on Twitter and Correlation with Traditional Metrics of Scientific Impact
DOI: http://dx.doi.org/10.2196/jmir.2012

Aus dem Abstract:

Conclusions: Tweets can predict highly cited articles within the first 3 days of article publication. Social media activity either increases citations or reflects the underlying qualities of the article that also predict citations, but the true use of these metrics is to measure the distinct concept of social impact. Social impact measures based on tweets are proposed to complement traditional citation metrics. The proposed twimpact factor may be a useful and timely metric to measure uptake of research findings and to filter research findings resonating with the public in real time.

[via The Atlantic]

10th International Conference on Science and Technology Indicators

Morgen beginnt die 10th International Conference on Science and Technology Indicators in Wien.

Das Erkennen von Trends in der Forschung, die Identifikation von Forschungsgebieten mit einem hohem Zukunftspotential, sowie die Messung von Forschungsleistungen sind die Leitthemen der “10th International Conference on Science and Technology Indicators”.

Die quantitative Messung der Leistung und Entwicklung von Forschung und Technologie (F&T) hat international eine lange Tradition und findet breite Akzeptanz in der F&T-Politik. Eines der bekanntesten Konzepte ist der Impact Faktor von wissenschaftlichen Zeitschriften, welcher durch die Zahl der Zitierungen die Sichtbarkeit wissenschaftlicher Arbeit in der Scientific Community erfasst. “Die Anwendung und die Weiterentwicklung von ähnlichen bibliometrischen Indikatoren gehören auch zu den Aufgaben einer modernen Universitätsbibliothek”, sagt Programme Chair Juan Gorraiz von der Universität Wien.

Weitere wichtige Konferenzthemen sind: Neue Anforderungen und Entwicklungen im Open Access-Publikationswesen, neue Möglichkeiten zur Erforschung der Wissenschaft, Fortschritte in der Forschung zur Knowledge Based Economy und neuartige Analysekonzepte, wie z. B. Netzwerkanalyse und Forschungslandkarten (Mapping Science).

Über 250 WissenschafterInnen, insbesondere InformationswissenschafterInnen, WissenschaftspublizistInnen sowie ForschungsmanagerInnen, DatenbankanbieterInnen, BibliothekarInnen und Policy Maker aus der ganzen Welt tauschen neueste Erkenntnisse über Entwicklung und Anwendung von Forschungs- und Technologieindikatoren aus. Neben VertreterInnen der Industrieländer nehmen auch zahlreiche ForscherInnen aus Schwellenländern an der Konferenz teil.

Die Themenpalette klingt interessant. Wer genaueres wissen möchte, dem sei das mit 49 MB reichlich schwergewichtig geratene Book of Abstracts (PDF) empfohlen.

[via IDW-Online]