Drei Jahre “The Metric Tide” – Responsible Research Metrics in UK

Gestern wurde der Bericht “UK Progress towards the use of metrics responsibly: three years on from The Metric Tide report” (PDF) des UK Forum for Responsible Metrics veröffentlicht.

Executive Summary (S. 4-5, CC BY):

Over the last five years the use, and abuse, of metrics in research assessment has been in sharp focus, with three major frameworks – the San Francisco Declaration on Research Assessment (DORA), the Leiden Manifesto and The Metric Tide – all calling for a step change in the culture of metrics use.

The UK Forum for Responsible Research Metrics (FFRRM) was established in September 2016, and provides advocacy for the UK higher education sector on the use of research metrics responsibly. This report outlines the work of the FFRRM to date, Professor James Wilsdon reflects on progress made in the UK since the independent review of metrics titled The Metric Tide which he chaired in 2015, and the newly appointed Chair of the FFFRM, Professor Max Lu (Vice-Chancellor at the University of Surrey) provides a forward look, outlining the FFRRM’s priorities and next steps.

The FFRRM’s work to date has focused on advising the Research Excellence Framework (REF) 2021 panels on the use of metrics in the research assessment exercise in the UK; developing a set of principles on the governance, purchasing and operation of research infrastructure; and facilitating discussion regarding the culture and the use of research metrics in UK institutions.
The key aim of this report is to reflect the recent discussion, and results from a survey conducted by the FFRRM, about the existing culture of the use of research metrics. The FFRRM hosted a successful event in February 2018 titled ‘The turning tide: a new culture of research metrics’. Over 140 attendees joined, from a variety of stakeholder groups. From the event, it is clear that the UK HE sector wishes to change the existing culture, but that implementing change is multifaceted, and challenging. The three panel sessions brought together stakeholders to discuss the existing frameworks implementation and impact on the culture of research metrics, the researcher’s perspective, and the wider implications of the use of metrics.

The discussion at the event shows that although the UK is engaged, more work needs to be done to share practice and instigate change – it was agreed that this is not a straightforward task. Professor James Wilsdon, who chaired The Metric Tide review, reflects that we are making steps in the right direction, but more effort is needed to embed principles in institutions, to develop better indicators and to foster more sensitive management frameworks.

Professor Max Lu, the newly appointed chair of the FFRRM sets priorities for the group and outlines next steps. He highlights that the FFRRM have a leadership and advocacy role to guide the sector on the use of metrics responsibly. There is a need for better understanding of what works and why. The FFRRM will define communities of practice, and engage with international networks to steer the policy development for the sector.

The FFRRM are delighted to launch this report at the Euroscience Open Forum 2018 (ESOF) event today, with two members talking about how we can use metrics to support open research. This marks the beginning of the FFRRM’s international discussions.

UK Forum for Responsible Metrics 2018. UK Progress towards the use of metrics responsibly: three years on from The Metric Tide report. URL: https://www.universitiesuk.ac.uk/policy-and-analysis/research-policy/open-science/The%20Forum%20for%20Responsible%20Research%20Metrics/UK%20progress%20towards%20the%20use%20of%20metrics%20responsibly%2010072018.pdf [Stand 2018-07-11].

Auftragsforschung in der Kritik

Bei Heise ging es kürzlich um von den technischen Universitäten geäußerte Kritik an Auftragsforschung:

Die Technischen Universitäten warnen die Wirtschaft vor einer immer stärkeren Verquickung von Forschungsgeldern und inhaltlichen Vorgaben bei Hightech-Themen. “Unser Eindruck ist, dass sich die Grenzen verschoben haben”, sagte der Präsident der TU Darmstadt, Prof. Dr. Hans Jürgen Prömel, der Deutschen Presse-Agentur. Zunehmend komme es vor, dass die Industrie selbst etwa Promotionsstellen “ausschreibe” und so versuche, die Ausrichtung wichtiger Projekte direkt zu beeinflussen.

Das ginge sogar so weit, dass erwartet würde, Forschungsergebnisse nicht zu publizieren, sondern vertraulich zu behandeln.

Das dies eine Folge der stets geforderten hohen Drittmittelquote und Industrienähe ist, ist wohl kein origineller Gedanke. Eine lesenswerte Schrift zur Messung von Forschungsleistung über die eingeworbenen Drittmittel hat Jürgen Gerhard [1]Gerhards, Jürgen (2013): Der deutsche Sonderweg in der Messung von Forschungsleistungen. Berlin: Berlin-Brandenburgische Akademie der Wissenschaften (Wissenschaftspolitik im Dialog, 7). Online … Continue reading  schon 2013 erfasst. Teile seiner Kritik – auch am “Förder-Rankings” der DFG – wurden wahr- und angenommen.

Die Summe der eingeworbenen Drittmittel bildet in der Bundesrepublik die zentrale Messgröße zur Bestimmung der Qualität von Forschung. Die Zentralakteure des deutschen Wissenschaftssystems, vor allem die Deutsche Forschungsgemeinschaft, aber auch der Wissenschaftsrat, haben einen entscheidenden Anteil daran, dass Drittmittel als Forschungsleistungsindikatoren so hoch gehalten, wenn nicht fetischisiert werden. So ist das Forschungsranking der DFG, das in regelmäßigen Abständen publiziert wird und das enorm wirkungsmächtig ist, fast ausschließlich drittmittelbasiert.

Das Förder-Ranking heißt inzwischen Förderatlas. Doch auch dort heißt in der aktuell gültigen Ausgabe von 2015 noch:

Für die Gewinnung der Kennzahlen werden auch im diesjährigen Förderatlas insbesondere Daten von öffentlichen Drittmittelgebern herangezogen und ausgewertet. Dies ist deren besonderer Aussagekraft geschuldet: Drittmittel werden im Wettbewerb eingeworben, die Mittelvergabe stützt sich auf das Urteil von Peers, die als Expertinnen und Experten des jeweiligen Forschungsfelds anerkannt sind. Wenn eine Einrichtung auf einem bestimmten Gebiet in größerem Umfang Drittmittel einwirbt oder aus entsprechenden Programmen finanzierte Gastwissenschaftlerinnen und -wissenschaftler für sich gewinnen kann, dann ist damit auch ein Qualitätsurteil dieser Peers verbunden.

Auch wenn es hier nur um Drittmittel von öffentlichen Geldgebern geht, ist die Relevanz der eingeworbenen Gelder auch aus dem Industriesektor wohl unumstritten. So ist Forschungsförderung für die in Deutschland auf Bundesebene seit 2005 regierende CDU in erster Linie zur Förderung der Industrie gedacht, wie schon in der Pressemitteilung zum Leitbild für eine zukunftsfähige Hochschul- und Forschungslandschaft in Deutschland klar wird.

 

References

References
1 Gerhards, Jürgen (2013): Der deutsche Sonderweg in der Messung von Forschungsleistungen. Berlin: Berlin-Brandenburgische Akademie der Wissenschaften (Wissenschaftspolitik im Dialog, 7). Online verfügbar unter http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:b4-opus-23876, zuletzt geprüft am 09.07.2017.

Neoliberale Digital Humanities?

Daniel Allington, Sarah Brouillette und David Golumbia haben im L.A. Review of Books einen sehr meinungsstarken Artikel über Herkunft und Ziel der Digital Humanities veröffentlicht: Neoliberal Tools (and Archives): A Political History of Digital Humanities.

Yet despite the aggressive promotion of Digital Humanities as a radical insurgency, its institutional success has for the most part involved the displacement of politically progressive humanities scholarship and activism in favor of the manufacture of digital tools and archives. Advocates characterize the development of such tools as revolutionary and claim that other literary scholars fail to see their political import due to fear or ignorance of technology. But the unparalleled level of material support that Digital Humanities has received suggests that its most significant contribution to academic politics may lie in its (perhaps unintentional) facilitation of the neoliberal takeover of the university.

Es lohnt sich, den ganzen Artikel zu lesen, aber dieser Absatz fasst den Tenor des Textes recht gut zusammen. Ich bin gespannt auf die Antworten aus der Digital-Humanities-Szene.

[via @ernestopriego]

#DeleteAcademiaEdu und die Geschäftsmodelle

Academia.edu ist mächtig unter Beschuss, weil dort für eine käuflich zu erwerbende verbesserte Position in den seiteneigenen Artikelempfehlungen geworben wurde. Die akademische Gemeinschaft griff zu Heugabeln, Fackeln und Hashtags und ließ ihrem Unmut freien Lauf. Der Ursprung der Debatte ist im Chronicle of Higher Education zusammengefasst. Das Promotions-Angebot wurde per Mail an Scott F. Johnson herangetragen, der sich darüber öffentlich echauffierte.

Mr. Johnson, who has publicized seven books and almost two dozen articles and book reviews on Academia.edu, said he would never pay for his work to be recommended by the website, and he doesn’t believe many other scholars in the humanities would either.

Das kann man wohl so stehen lassen.

Dieses Promotionsangebot wirft für Academia.edu, ResearchGate, Mendeley und ähnliche Dienste eine Frage auf, nämlich die nach dem Geschäftsmodell. Wer bezahlt die schicke ResearchGate-Seite? Ich habe da aus beruflichen Gründen ein Profil, ebenso wie ich mal eines bei Academia.edu oder Mendeley hatte. Ich bezahle dort nichts, was ich auch nicht ändern werde. Nennenswerte Reichweite erziele ich durch ResearchGate nicht. Die Mails, das “mein Research im Fokus” sei und letzte Woche sensationelle 20 Leser angezogen hat, finde ich im Gegenteil eher erheiternd. Wenn AutorInnen nichts bezahlen, wer dann? Werbung ist mir dort nie unangenehm aufgefallen. Die paar Stellenanzeigen finanzieren vermutlich auch keinen Mitarbeiterstab von (laut Hoppenstedt) 120 Personen. Verfolgen diese Dienste also alle das Mendeley-Ziel, von großen Playern geschluckt zu werden? Thomson Reuters hat noch kein Wissenschaftsnetzwerk.

Academia.edu versuchte also, Geld über Promotionsangebote zu verdienen. Versuchte, Vergangenheitsform, weil das Angebot längst wieder eingestampft wurde. Die Aufregung darüber kann ich allerdings nicht verstehen. Wer Academia.edu (ResearchGate etc.) für einen Teil der offenen Wissenschaftscommunity hält, wird noch die eine oder andere Enttäuschung erleben müssen. Das sind Firmen, die müssen Geld verdienen. Das ist nichts Verwerfliches. Um eine offene und nachhaltige wissenschaftliche Infrastruktur zu schaffen, sind aber wissenschaftliche Institutionen gefordert, die dies selbst in die Hand nehmen müssen. Gerne mit Firmen als Dienstleistern.

PS: Kritik zu Academia.edu findet sich auch in Archivalia und auf Twitter unter dem oben schon verlinkten #DeleteAcademiaEdu. Die Kritik an diesen Diensten ist übrigens nicht gerade neu.

Onleihe macht Bibliotheken zum Buchhandelsschaufenster

Über den neuesten Unsinn zur Onleihe muss ich mich nicht selbst aufregen, das haben andere schon für mich gemacht. Lesenswert:

Jürgen Plieninger in Netbib:

Stellen Sie sich eine Stadtbücherei vor: Wenn ein Buch ausgeliehen wird, kommt eine örtliche Buchhandlung und stellt einen Stellvertreter ein, auf dem dafür geworben wird, doch das Buch zu kaufen, anstatt zu warten, bis es wieder im Regal auftaucht. […]
Ob die Bibliotheken hier nicht die Gewinner sind? – Schließlich könnten sie doch verschiedene Buchhandlungen und Lieferanten gegeneinander ausspielen und den Button dessen nehmen, der die meiste Provision springen lässt. Wie, das geht nicht?

Dörte Böhner auf Bibliothekarisch.de:

Und nein, ich finde es von den Bibliotheken, die sich da an der Pilotphase beteiligen, nicht in Ordnung, dass sie sich dafür zur Verfügung stellen. Liebe Stadtbüchereien Düsseldorf, Hamburger Öffentlichen Bücherhallen und liebe Bibliotheken des Onleihe-Verbunds Oberlausitz, warum lassen Sie sich so vor den Karren der ekz spannen und sorgen nicht dafür, dass wenigsten in gewisser Weise noch eine Wahlfreiheit für Ihre Nutzer bleibt? Warum lassen Sie zu, dass Ihre Angebote kommerzialisiert werden? Ist der Bibliotheksnutzer bereits gedanklich soweit zum Kunden geworden, dass er Geld ausgeben soll, damit Ihr Angebot besser aussieht? Das ist aus meiner Sicht nicht mehr Service, sondern der falsche Weg. Verbessern Sie Ihr E-Book-Angebot, in dem Sie die Lizenzbedingungen angehen. Ideen, was man da machen könnte, gibt es viele. Ca 2000 Bibliotheken sind der Onleihe verfallen? Warum setzen Sie nicht auf diese Masse, um Dinge in Bewegung zu bringen?

Jürgen Fenn in Schneeschmelze:

Geradezu absurd erscheint aber die Lage, die die Onleihe mit diesem neuen Dienst herbeiführt. Erst wird die Verfügbarkeit von digitalen Texten durch das DRM künstlich verknappt, so daß ich z. B. die Zeitung von gestern nur eine Stunde lang lesen darf. Dann wird dem zu spät gekommenen Leser durch den Verkaufsbutton suggeriert, wenn er den Text jetzt lesen wolle, könne – vielleicht kommt bei ihm sogar an: müsse – er ihn bei dem Tochterunternehmen der EKZ und der Onleihe kaufen. Und schließlich sinken infolgedessen auch noch die Ausleihzahlen bei den Bibliotheken, weil die Leute von dort in den Online-Shop geschickt werden – in den sie in Zukunft gleich direkt gehen können? Mit einer so erworbenen Provision entzieht die Bibliothek ihrem eigenen Modell selbst den Boden und sägt an dem Ast, auf dem sie und das gesamte Bibliothekswesen hierzulande sitzt.

DonBib in Ultra Biblioteka:

Es ist, Dörte hat es wunderbar formuliert, bereits anstrengend sich die Onleihe schönzureden, denn wir unterstützen als Bibliotheken ein unsägliches System. Dieser Kaufknopf mit anschließender Provision für die Bibliotheken widert mich aber schlicht an. Ich kann dafür ethisch keine Tür entdecken, die so eine Idee möglich machen sollte, da sind bildlich gesprochen nicht mal Fenster in der Mauer vor dieser Idee. Auch fachlich ist der Schaden dieses Ansatzes unberechenbar. Gleichwohl folgt diese Idee dem so unwissenschaftlichen wie unethischen Grundsatz eine Bildungseinrichtung als Unternehmen führen zu wollen. Ich kann die KollegInnen in Düsseldorf und Hamburg nur auffordern, sich schnellstmöglich fachöffentlich zu äußern.

Ich bin gespannt, ob es zu einer ähnlichen Aufregung kommen wird wie im Falle der Amazonlinks im Heidelberger Katalog.

Wertvolle TIB/UB Hannover

TIB/UB Hannover, CC: BY-SA von Manfred Nowak
CC: BY-SA von Manfred Nowak

Die niedersächsische Wissenschaftsministerin Johanna Wanka zeigt sich beeindruckt vom volkswirtschaftlichen Nutzen der TIB /UB Hannover. Wie einer Pressemitteilung der Bibliothek zu entnehmen ist:

Aus jedem Euro öffentlicher Finanzierung generiert die TIB 3,80 Euro Mehrwert. Damit schafft sie für ihre Kunden einen 3,8 Mal höheren Nutzen als sie kostet. Aus 23 Millionen Euro jährlicher Förderung erwirtschaftet die TIB 87 Millionen Euro für die deutsche Wissenschaftsgesellschaft.

Errechnet wurde der Wert mit Hilfe der Contingent-Valuation-Methode. Die vollständige Studie ist als PDF verfügbar.

Update am 26. November: Ich wurde gerade aus der TIB informiert, dass die Studie nur die TIB betrifft, nicht den die /UB Hannover. Obwohl nur die TIB untersucht wurde, halte ich den Rest der TIB/UB Hannover dennoch für wertvoll und belasse es daher bei der bisherigen Überschrift.

Bibliomist: Internetzugang für schönere Tomaten

Edlef machte in Netbib auf dieses Video aufmerksam. Die im Video beschriebene Bibliothek wurde im Rahmen des Bibliomist-Programms (nicht: Biblio-Mist) mit einem Internetzugang ausgestattet. Die Ziele des Programms:

  • Equipping libraries with technology so citizens have better access to information.
  • Training librarians in how to use new technologies to provide better services to library visitors.
  • Helping develop the capacity of the national library association to advocate on behalf of libraries and librarians.
  • Fostering government support for recognition of the essential role of libraries in a modern society.
  • Besonders erwähnenswert ist die Betonung auf kostenlosen Zugang zum Internet. Etwas, das in Deutschland “dank” der allgegenwärtigen Bibliotheksgebühren auch nicht selbstverständlich ist.

    Laut MdB Hans-Peter Bartels: Kein Bedarf für Open Access in den Sozial- und Geisteswissenschaften

    Via Abgeordnetenwatch wurde der Bundestagsabgeordnete Hans-Peter Bartels (Dr. phil., Magister der Politischen Wissenschaft, Soziologie und Volkskunde, Journalist) gefragt, warum er als einer von zwei Mitgliedern des Bundestags (die andere ist Sabine Leutheusser-Schnarrenberger) den Heidelberger Appell unterschrieben habe. Im Wortlaut:

    Haben Sie sich mit der Unterzeichnung des Heidelberger Appells bewusst auch gegen Open Access ausgesprochen?

    Und falls ja: Warum lehnen Sie Open Access ab?

    Bartels antwortet, dass OA im technisch-naturwissenschaftlichen Bereich aufgrund der dort üblichen Publikationstrukturen durchaus einen wünschenswerten Fortschritt darstellen mag. Allerdings:

    Für den sozial- und geisteswissenschaftlichen Bereich sehe ich das aber anders. Hier wollen und sollen wissenschaftliche Autoren mit ihren Aufsätzen und insbesondere Büchern erfolgreich sein, auch in bescheidenem Maße ökonomisch. Die Möglichkeit, wirtschaftlich verwertbares Wissen zum Patent anzumelden, haben sie im Gegensatz zu ihren natur- und ingenieurwissenschaftlichen Kolleginnen und Kollegen nicht.

    Frei übersetzt: OA ist nur da wünschenswert, wo die Autoren eh kein privates finanzielles Kapital aus ihrem öffentlich finanzierten Werk schlagen können. Welche Möglichkeit haben Grundlagenforscher, ihr Wissen zu versilbern? Wieviel Patente meldet der durchschnittliche Fledermausforscher jährlich an? Je nachdem, wie diese Fragen beantwortet werden, könnte also die SPD-Empfehlung zu Open Access für die jeweilige Fachdisziplin ausfallen.

    Bartels, ist übrigens für die SPD stellvertretendes Mitglied im Bundestagsausschuss für Bildung, Forschung und Technikfolgenabschätzung. Da wird es doch gleich doppelt so spannend, was die Parteien auf die Fragen der Hochschulrektorenkonferenz u.a. zu Open Access antworten werden.

    Herbert Reul (CDU, MdEP) zu Open Access

    Via Abgeordnetenwatch stellte Oliver Graute folgende Frage an Herbert Reul, Mitglied des Europaparlaments und der CDU:

    Wie stehen Sie als Mitglied des Ausschuss für Industrie, Forschung und Energie zur Open Access Debatte

    Zu Forschungsdaten meinte Reul:

    Dabei muss unterschieden werden zwischen dem freien Zugang zu Forschungsdaten und dem freien Zugang zu Zeitschriftenaufsätzen. Forschungsdaten werden oft von Forschungseinrichtungen aufwändig gesammelt. Durch den Verkauf dieser Daten werden die hierbei entstehenden Kosten wieder reingeholt.

    Wenn Forschung sich direkt refinanzieren müsste, hätte die hiesige Wissenschaftsszene ein gewaltiges Problem. Vielleicht stehen die Pläne für den Large Hadron Collider auch nur frei im Netz, weil die Zahl potentieller Kunden arg übersichtlich ist? Würde dieses Denken konsequent umgesetzt werden, gäbe es keine Grundlagenforschung mehr. Sie wäre nicht finanzierbar.

    Zu OA für Zeitschriftenaufsätze gibt er nur Gemeinplätze (Motto: “Gute Sache, aber Bücher sind doch auch schön”) von sich. Schade, viele Politikeraussagen zu diesem Thema gibt es ja leider nicht.

    Auch Landesregierung Baden-Württemberg gegen ungesunde Lesewuth!

    Wie man dem Newsletter der Württembergischen Landesbibliothek entnehmen kann, wird dort ab dem 9. Mai eine Jahresbenutzungsgebühr von 30 Euro erhoben.

    bitte beachten Sie, dass nach der Verkündigung im Gesetzblatt Baden-Württemberg, voraussichtlich mit Wirkung zum 9. Mai 2009, eine novellierte Bibliotheksgebührenverordnung in Kraft treten wird.
    Neu ist die Einführung einer Benutzungsgebühr für die Landesbibliotheken (§ 2 n.F).

    30 Euro! Vermutlich möchte die Landesregierung der Schweinegrippe ungesunden Lesewuth entschlossen entgegentreten.

    Sehr geehrter Ministerpräsident Günther Oettinger: können Sie mir sagen, wo der Sinn dieser Maßnahme liegt? Als Volkswirt sollten Sie eigentlich wissen, dass man an dieser Stelle nicht unbedingt kürzen sollte. Betriebswirtschaftlich sind Benutzungsgebühren übrigens auch nicht immer ein Erfolgsmodell, wie unter anderem das Beispiel Schaffhausen belegt.

    Notiz zum Stellenwert des Themas Bibliotheken in Baden-Württemberg: Von dort kam zu meiner Umfrage zu Landesbibliotheksgesetzen außer einer nichtssagenden Antwort der FDP keine Reaktion.

    [via Netbib]